[論文レビュー] CycleMorph: Cycle Consistent Unsupervised Deformable Image Registration

Boah Kim, Dong Hwan Kim+4 more|arXiv (Cornell University)|Aug 13, 2020

Medical Image Segmentation Techniques参考文献 35被引用数 13

ひとこと要約

CycleMorph は、前方および逆方向の変形場を生成する2つの U-Net ベースのネットワークを訓練することで、トポロジー保存を強制する、サイクル整合性に基づく教師なし深層学習フレームワークを提案する。元の画像に近い再構成を達成するため、元の画像を前方変形場で変形し、その後逆方向変形場で逆変形することで、折りたたみを低減し、精度を向上させる。2次元および3次元の医療画像処理タスク（肝臓CT や脳MRI を含む）において、優れた性能を発揮し、1分未満の登録時間を達成する。

ABSTRACT

Image registration is a fundamental task in medical image analysis. Recently, deep learning based image registration methods have been extensively investigated due to their excellent performance despite the ultra-fast computational time. However, the existing deep learning methods still have limitation in the preservation of original topology during the deformation with registration vector fields. To address this issues, here we present a cycle-consistent deformable image registration. The cycle consistency enhances image registration performance by providing an implicit regularization to preserve topology during the deformation. The proposed method is so flexible that can be applied for both 2D and 3D registration problems for various applications, and can be easily extended to multi-scale implementation to deal with the memory issues in large volume registration. Experimental results on various datasets from medical and non-medical applications demonstrate that the proposed method provides effective and accurate registration on diverse image pairs within a few seconds. Qualitative and quantitative evaluations on deformation fields also verify the effectiveness of the cycle consistency of the proposed method.

研究の動機と目的

• 変形中の解剖学的トポロジーを保存できない既存の深層学習ベースの画像登録手法の限界に対処すること。
• 真値の変形場を必要としないトポロジー保存型の登録手法を開発すること。
• サイクル整合性を暗黙の正則化として用いることで、可変的画像登録の精度と頑健性を向上させること。
• マルチスケール実装により、大規模な3次元ボリュームの登録を効率的に行えるようにすること。

提案手法

• 本手法は、画像ペアから前方および逆方向の変形ベクトル場を学習するため、2つの U-Net ベースの畳み込みニューラルネットワーク $G_X$ と $G_Y$ を用いる。
• サイクル整合性は、$G_X$ で変形された元の画像を $G_Y$ で逆変形することで元の画像が再構成されるようにネットワークを訓練することで強制される。
• 訓練の安定化と忠実度の向上を図るため、画像再構成損失、サイクル整合性損失 $\mathcal{L}_{cycle}$、およびアイデンティティ損失 $\mathcal{L}_{identity}$ を組み合わせた損失関数を用いる。
• マルチスケール戦略が採用されている：ダウンサンプリングされたボリュームで粗い登録を行い大規模な変形を処理し、その後ローカルな精錬によって精度を向上させる。
• 本フレームワークは、真値の変形場が不要な教師なしのエンドツーエンド学習が可能である。
• 本手法は柔軟性に富み、多様な医療的および非医療的画像処理応用に適用可能な2次元および3次元の登録タスクに適している。

実験結果

リサーチクエスチョン

• RQ1 画像空間におけるサイクル整合性は、教師なし可変的画像登録におけるトポロジー保存性を向上させることができるか？
• RQ2 折りたたみの低減と登録精度の向上という観点から、サイクル整合性は逆方向整合性制約と比較してどのように優れているか？
• RQ3 GPUメモリ制限がある中でも、本手法は大規模な3次元ボリュームにおいて高精度な登録を達成できるか？
• RQ4 マルチスケール実装は、計算効率と登録精度のバランスを効果的にとっているか？

主な発見

• CycleMorph は、マルチスケール3次元腹部CECT登録において、4秒のグローバル登録時間と41秒の合計ランタイムを達成し、Elastix の20分のランタイムと比べて顕著に高速であった。
• 肝臓CTデータでは、非正のヤコビアン行列式の値の割合が 0.02% にまで低下し、強力なトポロジー保存性と最小限の折りたたみを示した。
• 腫瘍サイズ差において、CycleMorph は MS-DIRNet よりも優れた性能を示し、比較手法の中で最小の平均差を記録し、優れた登録精度を確認した。
• アブレーションスタディでは、サイクル損失を除外した場合、非正のヤコビアン値が 0.18% に上昇したため、折りたたみの防止とトポロジー保存にこの損失関数が果たす重要な役割が確認された。
• 単一のGPU上で、1分未満の推論時間を達成し、臨床応用に向けた高い計算効率を示した。
• 定性的および定量的評価により、CycleMorph は2次元顔、3次元脳MR、マルチステージ肝臓CECT を含む多様な画像ペアにおいて、正確でトポロジー保存型の変形を提供することが確認された。