[論文レビュー] F3RNet: Full-Resolution Residual Registration Network for Multimodal Image Registration

Zhe Xu, Jie Luo+3 more|arXiv (Cornell University)|Sep 15, 2020

Medical Image Segmentation Techniques参考文献 17被引用数 4

ひとこと要約

F3RNet は、並列ストリームを介してフル解像度特徴の学習とマルチスケールリーマンス表現を統合する、マルチモodal CT-MRI レジストレーションのための新規な教師なし深層学習フレームワークであり、3秒未満の推論時間を達成し、特に重度に変形した臓器の局所領域において優れた正確性を示している。

ABSTRACT

PURPOSE: Multimodal deformable image registration is essential for many image-guided therapies. Recently, deep learning approaches have gained substantial popularity and success in deformable image registration. Most deep learning approaches use the so-called mono-stream “high-to-low, low-to-high” network structure, and can achieve satisfactory overall registration results. However, accurate alignments for some severely deformed local regions, which are crucial for pinpointing surgical targets, are often overlooked, especially for multimodal inputs with vast intensity differences. Consequently, these approaches are not sensitive to some hard-to-align regions, e.g., intra-patient registration of deformed liver lobes. METHODS: We propose a novel unsupervised registration network, namely Full-Resolution Residual Registration Network (F3RNet), for multimodal registration of severely deformed organs. The proposed method combines two parallel processing streams in a residual learning fashion. One stream takes advantage of the full-resolution information that facilitates accurate voxel-level registration. The other stream learns the deep multi-scale residual representations to obtain robust recognition. We also factorize the 3D convolution to reduce the training parameters and enhance network efficiency. RESULTS: We validate the proposed method on 50 sets of clinically acquired intra-patient abdominal CT-MRI data. Experiments on both CT-to-MRI and MRI-to-CT registration demonstrate promising results compared to state-of-the-art approaches. CONCLUSION: By combining the high-resolution information and multi-scale representations in a highly interactive residual learning fashion, the proposed F3RNet can achieve accurate overall and local registration. The run time for registering a pair of CT-MRI images is less than 3 seconds using a GPU. In future works, we will investigate how to cost-effectively process high-resolution information and fuse multi-scale representations.

研究の動機と目的

• 重度に変形した臓器（例：肝左右葉）のためのマルチモダリティ可変的画像レジストレーションにおける局所的アライメントの不正確さという課題に対処すること。
• CT と MRI 間の強度差が著しい領域におけるアライメント感度を向上させること。
• 高解像度の空間的詳細を保持しながら、強固なマルチスケール特徴を捉える軽量で効率的なネットワークを開発すること。
• パラメータ数を減らすために因子化された 3D 畳み込みを用いることで、モデルの複雑さとトレーニングパラメータを低減しながら性能を損なわないこと。

提案手法

• F3RNet はデュアルストリームアーキテクチャを採用しており、一方のストリームは正確なボクセル単位のアライメントのためのフル解像度特徴を保持し、もう一方は深層のマルチスケールリーマンス表現を学習して特徴理解を強化する。
• 2つのストリームはリーマンス学習を介して統合され、相互に特徴を精練し、より優れた表現学習を実現する。
• 3D 畳み込みは、パrameter数を削減し、トレーニング効率を向上させるために、深度方向分離畳み込みに因子化されている。
• ネットワークは教師なしで学習され、変形された移動画像と固定画像の類似性損失を用いるが、真値の変形フィールドは不要である。

実験結果

リサーチクエスチョン

• RQ1 フル解像度特徴とマルチスケール特徴を統合したデュアルストリームネットワークアーキテクチャは、マルチモダリティ CT-MRI 画像における局所的レジストレーション正確性を向上させ得るか？
• RQ2 高解像度ストリームとマルチスケールストリーム間のリーマンス学習は、重度に変形した領域でのアライメントをどのように向上させるか？
• RQ3 因子化された 3D 畳み込みは、レジストレーション性能を維持したまま、どの程度モデルの複雑さを低減できるか？
• RQ4 提案手法は、臨床的 3D 腹部スキャンにおいて、1ペアあたり 3 秒未満のリアルタイム推論を達成できるか？

主な発見

• F3RNet は、50 セットの臨床的イントラペーシェント腹部 CT-MRI データに対して、CT から MRI および MRI から CT へのレジストレーションの両方で最先端の性能を達成した。
• 特に肝左右葉のような挑戦的な領域において、重度に変形した局所領域での正確性が顕著に優れていた。
• GPU を用いた 1 セットの CT-MRI ペアのレジストレーションは 3 秒未満で完了し、高い計算効率を示した。
• 因子化された 3D 畳み込みの使用により、トレーニングパラメータ数が顕著に削減されたが、高いレジストレーション正確性を維持した。