[論文レビュー] Dilated FCN for Multi-Agent 2D/3D Medical Image Registration

Shun Miao, Sebastien Piat+5 more|arXiv (Cornell University)|Nov 22, 2017

Medical Imaging and Analysis参考文献 12被引用数 15

ひとこと要約

本論文は、画像アーティファクトが著しく存在する臨床的脊椎手術データに対して、拡張畳み込みニューラルネットワーク（dilated FCN）を用いたマルチエージェントで注意機構を組み込んだマーコフ決定過程（MDP）フレームワークを提案する。局所的観測をdilated FCNで埋め込み、複数のローカルエージェントで学習し、学習可能な注意重みを用いてその行動を統合することで、10倍の高速化とグロスフェイルャー率（GFR）の10倍の低減を達成した。これは、最先端の最適化手法や単一エージェント手法を上回る性能を示した。

ABSTRACT

2D/3D image registration to align a 3D volume and 2D X-ray images is a challenging problem due to its ill-posed nature and various artifacts presented in 2D X-ray images. In this paper, we propose a multi-agent system with an auto attention mechanism for robust and efficient 2D/3D image registration. Specifically, an individual agent is trained with dilated Fully Convolutional Network (FCN) to perform registration in a Markov Decision Process (MDP) by observing a local region, and the final action is then taken based on the proposals from multiple agents and weighted by their corresponding confidence levels. The contributions of this paper are threefold. First, we formulate 2D/3D registration as a MDP with observations, actions, and rewards properly defined with respect to X-ray imaging systems. Second, to handle various artifacts in 2D X-ray images, multiple local agents are employed efficiently via FCN-based structures, and an auto attention mechanism is proposed to favor the proposals from regions with more reliable visual cues. Third, a dilated FCN-based training mechanism is proposed to significantly reduce the Degree of Freedom in the simulation of registration environment, and drastically improve training efficiency by an order of magnitude compared to standard CNN-based training method. We demonstrate that the proposed method achieves high robustness on both spine cone beam Computed Tomography data with a low signal-to-noise ratio and data from minimally invasive spine surgery where severe image artifacts and occlusions are presented due to metal screws and guide wires, outperforming other state-of-the-art methods (single agent-based and optimization-based) by a large margin.

研究の動機と目的

• 画像アーティファクトが著しく存在し、信号対雑音比（SNR）が低い状況下における2D/3D医療画像登録のロバスト性と効率性の課題に対処すること。
• 固定された領域の注目領域（ROI）の事前知識に依存する単一エージェントMDPベースの登録手法の限界、特に信頼性の低い視覚的手がかりの処理が不十分である点を克服すること。
• 高自由度の登録環境における学習の高コストを低減するため、有効自由度を低下させること。
• 最小侵襲的脊椎手術における登録のロバスト性を向上させるために、信頼度重み付き行動統合を用いたマルチエージェント協調学習を活用すること。

提案手法

• 2D/3D登録を、局所的画像観測を状態とするマーコフ決定過程（MDP）として定式化し、行動を6自由度（6-DoF）の姿勢調整とし、画像類似度指標に基づく報酬を設定する。
• 複数の独立したエージェントを採用し、それぞれがdilated FCNを用いて局所的画像パッチを処理し、姿勢調整を予測することで、並列かつ効率的な推論を実現する。
• 信頼度と視覚的手がかりの信頼性に基づいて、異なるエージェントからの予測を動的に重み付けする自己注意機構を導入する。
• シミュレーション環境の有効自由度を8から4に低減するdilated FCNベースの訓練戦略を適用し、複数の変位にわたる効率的なバックプロパゲーションを可能にする。
• 固定（3Dボリューム）と移動（2D X線）画像を別々に処理する二重符号化ポリシーネットワークを用いて、特徴表現を向上させる。
• 信頼度重み付き統合メカニズムを用いて複数エージェントの行動を集約し、視覚的一致性が高く不確実性が低い領域からの予測を優先する。

実験結果

リサーチクエスチョン

• RQ1 注意機構を用いた行動統合を備えたマルチエージェントMDPフレームワークは、画像アーティファクトが著しく存在し、SNRが低い状況下でも2D/3D登録のロバスト性を向上させることができるか？
• RQ2 性能を損なわず、高次元の登録環境において学習効率を著しく向上させることは可能か？
• RQ3 dilated FCNベースの特徴学習は、登録タスクにおける微小な動き推定において、空間的精度をどれほど保持できるか？
• RQ4 ターゲットの位置やサイズに関する事前知識が欠如していると性能に悪影響を及ぼすか？また、マルチエージェント学習はこれを補うことができるか？
• RQ5 複数の局所的エージェント予測の自己注意統合は、複雑な臨床的状況において、単一エージェントや最適化ベースのベースラインを上回ることができるか？

主な発見

• 提案手法は、CBCTデータにおいてグロスフェイルャー率（GFR）を2.1%に低減し、臨床的脊椎手術データでは6.1%にまで低下させ、次善の手法と比較して10倍の改善を達成した。
• 臨床データにおいて、中央目標登録誤差（TRE）の中央値は1.99 mmを記録し、2番目に優れた手法（ES-GO）の3.18 mmを顕著に上回った。
• dilated FCNベースの訓練戦略により、必要な学習サンプル数を1桁低減し、学習の効率性が著しく向上した。
• 自己注意付きマルチエージェントシステムは、CBCTデータで4.1%のGFR、臨床データで6.8%のGFRを達成し、実際の手術データでの微調整なしでもロバスト性を示した。
• 低失敗率を維持しながらも、高い精度（中央TRE < 2 mm）を発揮し、ロバスト性と精度の両面で単一エージェントおよび最適化ベースのアプローチを上回った。
• アブレーションスタディにより、自己注意機構が信頼性の高い視覚的手がかりに注目することで、特に遮蔽やアーティファクトが強い領域において性能を顕著に向上させたことが確認された。