[論文レビュー] GAN Based Medical Image Registration

Dwarikanath Mahapatra|arXiv (Cornell University)|May 7, 2018

Medical Image Segmentation Techniques参考文献 78被引用数 15

ひとこと要約

本稿では、反復的最適化を回避する高速で高精度なマルチモodal医療画像登錻のためのGANベースのエンドツーエンドディープラーニング手法を提案する。条件付きGANとサイクル整合性、変形場の逆転可能性制約を組み合わせることで、1秒未塔の高速な高精細な登錻画像と変形場を生成し、網膜および心筋MRIデータセットにおいて、速度、精度、モダリティ差へのロバスト性の面で最先端の手法を上回る性能を発揮した。

ABSTRACT

Conventional approaches to image registration consist of time consuming iterative methods. Most current deep learning (DL) based registration methods extract deep features to use in an iterative setting. We propose an end-to-end DL method for registering multimodal images. Our approach uses generative adversarial networks (GANs) that eliminates the need for time consuming iterative methods, and directly generates the registered image with the deformation field. Appropriate constraints in the GAN cost function produce accurately registered images in less than a second. Experiments demonstrate their accuracy for multimodal retinal and cardiac MR image registration.

研究の動機と目的

• 反復的かつ従来のディープラーニングベースの画像登錻手法に見られる、処理が遅く最適化が複雑であるという限界を解消すること。
• 生成的敵対ネットワーク（GAN）を用いて、エンドツーエンドで反復的でないマルチモダリティ医療画像の登錻を実現すること。
• VGG特徴損失、SSIM、変形場の逆転可能性といった新規制約を組み込むことで、登錻の精度と現実性を向上させること。
• 新たな画像ペアに対して再トレーニングを必要とせず、異なる画像モダリティ間でロバストな性能を発揮すること。
• 任意の画像を基準画像または浮動画像として使用できるワンパス登錻を可能にし、柔軟性を高めること。

提案手法

• 本手法は、浮動画像を固定基準画像に一致させるように変換する生成器ネットワークを用いる条件付きGAN（cGAN）フレームワークを採用する。
• 生成器は、正規化相互情報量（NMI）、構造的類似性（SSIM）、VGG特徴損失、敵対的損失を組み合わせた複合損失関数を用いて訓練され、構造的および強度の整合性を確保する。
• 変形場の逆転可能性を主な制約として導入し、現実的で滑らかな変換を保証し、不自然な歪みを防ぐ。
• サイクル整合性を適用して変形場の可逆性を保証し、登錻出力の妥当性を向上させる。
• ネットワークは、ペア化されたマルチモダリティ画像の合成変形を用いて教師なしで訓練され、未知のモダリティ組み合わせへの一般化が可能になる。
• モデルは1回の順伝播で登錻画像と変形場の両方を出力し、反復的精錬の必要性を排除する。

実験結果

リサーチクエスチョン

• RQ1 反復的最適化を伴わないGANベースの手法が、正確でエンドツーエンドのマルチモダリティ医療画像登錻を達成できるか？
• RQ2 変形場の逆転可能性やVGG/SSIM損失といった制約は、標準的なディープラーニング手法と比較して、登錻品質と現実性をどのように向上させるか？
• RQ3 条件付きおよびサイクルGANのコンponentsを用いることで、再トレーニングなしに新たな画像モダリティに一般化できるか？
• RQ4 GANベースの手法は、最先端のディープラーニングおよび従来の反復的登錻技術と比較して、速度と精度の面でどのように差をつけるか？
• RQ5 本手法は、コントラストが低く困難なマルチモダリティ医療画像において、解剖的構造をどれほど保持し、登錻誤差をどれほど低減できるか？

主な発見

• 提案手法GAN_Regは、網膜フンダスおよびFA画像登錻でDiceスコア0.946を達成し、DIRNet（0.911）およびElastix（0.874）を顕著に上回った。
• GAN_Regは変形誤差（Err_Def）を5.7に低減したが、Elastix（12.1）およびGAN_Reg-nCyc（9.1）と比較して顕著な改善を示した。
• 網膜画像では平均絶対差（MAD）が3.1に留まり、DIRNet（5.0）、Elastix（8.7）、GAN_Reg-nCyc（7.2）を下回り、空間的精度の優位性を示した。
• 心筋MRIでは、GAN_RegはDiceスコア0.85、HD_95が3.9を達成し、DIRNet（0.80、5.03）およびElastix（0.77、5.21）を上回り、推論時間は0.8秒であった。
• 1組あたり1秒未塔で画像を登錻したが、Elastix（15.1秒）に比べて顕著に高速であり、他のディープラーニングベースラインと同等の速度を維持しながらも、優れた精度を維持した。
• 再トレーニングなしに、非モダリティ動的心筋MRIに対しても良好な一般化性能を示し、さまざまな解剖的構造および画像特性にわたるロバスト性を示した。