[論文レビュー] Adversarial Image Registration with Application for MR and TRUS Image Fusion

Pingkun Yan, Sheng Xu+2 more|arXiv (Cornell University)|Apr 30, 2018

Advanced Image Processing Techniques参考文献 11被引用数 9

ひとこと要約

本論文は、前立腺画像ガイドド手術におけるMR-TRUS融合を目的として、生成的敵対ネットワーク（GAN）を用いて変換推定と登録品質評価を同時に学習する敵対的画像登録（AIR-net）フレームワークを提案する。生成器が登録変換を予測し、識別器が整合性の質を評価するように訓練することで、平均ターゲット登録誤差（TRE）が初期の6.11mmから著しく低くなった3.48mmにまで低下した。また、識別器スコアは登録精度と強く相関しており、臨床応用に向けたリアルタイムの品質フィードバックを可能にする。

ABSTRACT

Robust and accurate alignment of multimodal medical images is a very challenging task, which however is very useful for many clinical applications. For example, magnetic resonance (MR) and transrectal ultrasound (TRUS) image registration is a critical component in MR-TRUS fusion guided prostate interventions. However, due to the huge difference between the image appearances and the large variation in image correspondence, MR-TRUS image registration is a very challenging problem. In this paper, an adversarial image registration (AIR) framework is proposed. By training two deep neural networks simultaneously, one being a generator and the other being a discriminator, we can obtain not only a network for image registration, but also a metric network which can help evaluate the quality of image registration. The developed AIR-net is then evaluated using clinical datasets acquired through image-fusion guided prostate biopsy procedures and promising results are demonstrated.

研究の動機と目的

• MR-TRUS融合における前立腺画像ガイドド手術の分野で、堅牢かつ高精度なマルチモodal画像登録を実現すること。
• 変換推定と登録品質評価を同時に実行する深層学習ベースの登録手法を開発すること。
• 従来の類似度指標の限界と、既存の深層学習登録手法におけるフィードバック欠如の問題を克服すること。
• 画像ガイドド手術に適したリアルタイムかつ信頼性の高い登録を、組み込み型の品質評価機能とともに実現すること。
• 敵対的学習がマルチモダリティ医療画像登録に実用的かつ効果的に適用可能であることを実証すること。

提案手法

• AIR-netフレームワークは、入力としてのMRおよびTRUS画像ペアから、直接回転および平行移動の変換パラメータを予測する生成器ネットワーク（G）を用いる。
• 識別器ネットワーク（D）は、推定変換（T_est）を用いて整合化された画像ペアと、真値変換（T_gt）を用いて整合化された画像ペアを区別するように訓練される。
• 生成器と識別器は敵対的学習により同時に訓練され、生成器は識別器が生成されたペアを「真実（真値で整合化されたもの）」と誤認するように変換を改善する。
• 画像リサンプリングは、推定変換を用いて実行され、識別器への入力として使用される再サンプリング済みの移動画像が生成される。
• 3Dボリュームをマルチチャネル2D画像として処理する2D CNNを用いることで、限られたGPUメモリ上でも深層ネットワークを実装可能となる。
• フレームワークは臨床用MR-TRUSデータセット上でエンドツーエンドに訓練され、性能評価はターゲット登録誤差（TRE）および識別器スコア（D-Score）を用いて実施される。

実験結果

リサーチクエスチョン

• RQ1 GANベースのフレームワークは、マルチモダリティ医療画像登録において、正確な変換推定と信頼性の高い登録品質評価を同時に学習できるか？
• RQ2 識別器スコア（D-Score）は、ターゲット登録誤差（TRE）で測定される実際の登録精度とどの程度相関しているか？
• RQ3 本手法が、品質評価のための明示的真値ラベルを必要としない状況でも、ベースライン手法に比べて登録性能を向上させられるか？
• RQ4 生成器と識別器のエンドツーエンド訓練は、臨床現場におけるより高速かつより頑健な登録を実現できるか？
• RQ5 本手法は、MRとTRUS画像間で強度や解像度に大きな差がある実臨床データに対しても汎用性を示せるか？

主な発見

• 提案されたAIR-netは、初期のランダム登録時の平均ターゲット登録誤差（TRE）6.11mmを、登録後には3.48mmまで低減した。この改善は統計的に有意であった（p < 0.01）。
• 識別器スコア（D-Score）は登録品質と強く有意に相関しており、TREが低下するにつれて上昇する傾向を示し、信頼性の高い品質評価が可能であることを示した。
• 本手法は高速な推論時間を達成し、1枚のGPUを用いて1画像ペアあたり100ms未満で登録推定が可能であった。
• 識別器ネットワークは、高品質と低品質の登録を効果的に区別でき、リアルタイムの品質フィードバックメカニズムとしての有効性を示した。
• 3Dボリュームを2D CNNで処理する手法により、次元削減のにもかかわらず、浅い3D CNNに比べてより深いネットワークアーキテクチャを実現し、性能向上を達成した。
• 生成器と識別器のエンドツーエンド訓練により、未観測の臨床データに対しても良好に一般化する頑健な登録システムが実現された。