[論文レビュー] Unsupervised Deformable Image Registration Using Cycle-Consistent CNN

Boah Kim, Jieun Kim+4 more|arXiv (Cornell University)|Jul 2, 2019

Medical Image Segmentation Techniques参考文献 14被引用数 13

ひとこと要約

本稿では、multiphase肝CTスキャンのための、サイクル整合性を持つ畳み込みニューラルネットワーク（CNN）を用いた教師なし3次元可変的画像登録手法を提案する。前向きおよび逆方向の変形場のサイクル整合性を強制することで、10秒未塔のペアあたりの登録において、トポロジーが保たれ、高精度な登録が達成され、ヤコビアン行列式の保存および腫瘍サイズ推定精度において、先行する教師なし手法を著しく上回っている。

ABSTRACT

Medical image registration is one of the key processing steps for biomedical image analysis such as cancer diagnosis. Recently, deep learning based supervised and unsupervised image registration methods have been extensively studied due to its excellent performance in spite of ultra-fast computational time compared to the classical approaches. In this paper, we present a novel unsupervised medical image registration method that trains deep neural network for deformable registration of 3D volumes using a cycle-consistency. Thanks to the cycle consistency, the proposed deep neural networks can take diverse pair of image data with severe deformation for accurate registration. Experimental results using multiphase liver CT images demonstrate that our method provides very precise 3D image registration within a few seconds, resulting in more accurate cancer size estimation.

研究の動機と目的

• 既存の教師なしディープラーニング手法における3次元可変的画像登録の限界、特に折りたたみアーチファクトやトポロジー保存性の欠如を解決すること。
• 教師付き変形場を必要とせず、逆方向の一貫性およびトポロジーの整合性を保証する手法の開発。
• 1つの訓練済みネットワークを用いて、任意のmultiphase肝CT画像ペアの高速かつ高精度な登録を可能にすること。
• 動的対比強化CTにおける誤登錦の最小化により、腫瘍サイズ推定の診断精度を向上させること。
• Elastixなどの古典的手法（1回の登録あたり約19.6分）と比較して、計算時間を短縮すること。

提案手法

• 本手法は、画像AからBへの変形（G_AB）とBからAへの変形（G_BA）の2つの3次元U-Netベースのネットワークを採用し、エンドツーエンドで訓練する。
• 空間変換ネットワークが予測された変形場を適用して、移動画像を固定画像にワープし、強度の類似性を最小化する。
• サイクル整合性は、変形済み画像に逆方向の変形場を再適用することで強制され、出力が元の移動画像に近づくように保証される。
• 損失関数は、画像類似性（MSE）、サイクル整合性損失（再構成誤差）、およびアイデンティティ損失を組み合わせており、学習の安定化とトポロジー保存性の両方を促進する。
• ネットワークは、固定学習率0.0001、バッチサイズ1、1枚のGPUを用いたAdam最適化手法で訓練される。
• 訓練後は、任意の新しい画像ペアの推論に1つのネットワークのみを必要とし、10秒未塔の高速推論が可能になる。

実験結果

リサーチクエスチョン

• RQ1 2重ネットワークCNNフレームワークにおけるサイクル整合性が、3次元可変的画像登録におけるトポロジー保存性を向上させるか？
• RQ2 サイクル整合性による逆方向一貫性の強制が、折りたたみアーチファクトおよびヤコビアン行列式の違反を低減するか？
• RQ3 1つの訓練済みネットワークが、再訓練なしに任意のmultiphase肝CT画像ペアに一般化可能か？
• RQ4 本手法は、教師ありおよび教師なしベースラインと比較して、ターゲット登録誤差（TRE）および腫瘍サイズ推定精度においてどのように差をつけるか？
• RQ5 本手法の推論速度は、Elastixなどの古典的手法と比較してどの程度か？

主な発見

• 本手法は、動脈期から門脈期への登録で平均ターゲット登録誤差（TRE）が4.91 mm、遅延期から門脈期への登録で3.76 mmを達成し、VoxelMorph-1を上回り、Elastixに近い性能を示した。
• 遅延期から門脈期への登録において、変形済み画像と固定画像間の腫瘍サイズ差が、主軸で0.59 mm、副軸で0.43 mmに最小限に抑えられ、優れた診断精度が示された。
• 非正のヤコビアン行列式を持つボクセルの割合は、動脈期から門脈期登録で1.75%、遅延期から門脈期登録で1.81%にまで低下し、強力なトポロジー保存性が裏付けられた。
• 元の画像と再変形された画像間の正規化平均二乗誤差（NMSE）は、それぞれ0.0277および0.0199であり、効果的なサイクル整合性が確認された。
• 推論時間は1画像ペアあたりわずか10秒であり、Elastixの19.64分と比較して118倍の高速化が達成された。
• アブレーションスタディでは、サイクル損失またはアイデンティティ損失を除去すると性能が低下し、これらが安定性およびトポロジー保存性に不可欠であることが実証された。