[論文レビュー] Unsupervised Multi-Modal Medical Image Registration via Discriminator-Free Image-to-Image Translation

Zekang Chen, Jia Wei+1 more|arXiv (Cornell University)|Apr 28, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

本論文は、教師なしマルチモodal医療画像登錣のための、判別器フリーで形状を保持する画像間変換フレームワークを提案する。敵対的学習にピクセル損失とピッチワイドな対照的損失（PatchNCE）を用いることで、変形場の正確性が向上し、アーチファクトが低減され、Learn2Reg 2021 データセットでDSCスコア最高0.966、HD95が4.367を達成した。

ABSTRACT

In clinical practice, well-aligned multi-modal images, such as Magnetic Resonance (MR) and Computed Tomography (CT), together can provide complementary information for image-guided therapies. Multi-modal image registration is essential for the accurate alignment of these multi-modal images. However, it remains a very challenging task due to complicated and unknown spatial correspondence between different modalities. In this paper, we propose a novel translation-based unsupervised deformable image registration approach to convert the multi-modal registration problem to a mono-modal one. Specifically, our approach incorporates a discriminator-free translation network to facilitate the training of the registration network and a patchwise contrastive loss to encourage the translation network to preserve object shapes. Furthermore, we propose to replace an adversarial loss, that is widely used in previous multi-modal image registration methods, with a pixel loss in order to integrate the output of translation into the target modality. This leads to an unsupervised method requiring no ground-truth deformation or pairs of aligned images for training. We evaluate four variants of our approach on the public Learn2Reg 2021 datasets \cite{hering2021learn2reg}. The experimental results demonstrate that the proposed architecture achieves state-of-the-art performance. Our code is available at https://github.com/heyblackC/DFMIR.

研究の動機と目的

• GANベースのマルチモダリティ登錣における不正確で一貫性のない画像変換が、ドメイン固有の変形を判別器が誤解釈することでアーチファクトを引き起こすという課題に対処すること。
• 画像変換を介して問題をモノモダリティ登錣タスクに変換することで、真値の変形場に依存せずに教師なしマルチモダリティ登錣を改善すること。
• 対照的損失とピクセル損失を用いて、敵対的学習を置き換え、クロスモダリティ変換における形状の一貫性と外観の忠実度を向上させること。
• 判別器を用いないことで、偽の変形を促進する要因となる性能低下を回避し、最先端の登錣精度を達成すること。
• 公開データセットでの検証と、局所的およびグローバル損失の役割、判別器の影響を含む、主要な構成要因のアブレーションを実施すること。

提案手法

• ドメイン固有の変形によるアーチファクトの導入を避けるために、標準的なGANベースの画像間変換から判別器フリーな生成ネットワークに置き換える。
• ピッチワイドな対照的損失（PatchNCE）を用いて、モダリティ間の変換中に構造的および形状的一致性を維持する。
• ピクセル単位の再構成損失を用いて、変換画像をターゲットモダリティの外観と一致させ、モノモダリティ類似度指標の使用を可能にする。
• 局所的（PatchNCE）およびグローバル（ピクセル損失）の両方の整合性損失を統合し、登錣ネットワークが正確な変形場へと導く。
• 真値の変形場やペア化されたアラインド画像を一切必要とせず、画像類似度のみを用いて登錣ネットワークをエンドツーエンドで訓練する。
• 二重ストリームアーキテクチャを採用：一方は変換用（ソースモダリティからターゲットモダリティ）、もう一方は変形場予測用で、特徴の共有学習を実施。

実験結果

リサーチクエスチョン

• RQ1 GANベースの画像変換から判別器を除去することで、マルチモダリティ医療画像登錣における形状的一致性の向上とアーチファクトの低減が達成できるか？
• RQ2 敵対的監視なしに、対照的損失（PatchNCE）がクロスモダリティ変換中に解剖学的構造を効果的に保持できるか？
• RQ3 ピクセル損失が、教師なし設定における外観転送と組み合わせて、登錌ネットワークの訓練に有効な類似度指標として機能できるか？
• RQ4 局所的およびグローバルな整合性損失が、真値ラベルが存在しない状況で、登錣精度の向上にどのように寄与するか？
• RQ5 判別器の欠如が、実際の医療画像データにおいて、GANベースのベースラインと比較してより優れた一般化性能と性能をもたらすか？

主な発見

• 提案手法は、Learn2Reg 2021 データセットで最先端の性能を達成し、Insp-ExpデータセットではDSC 0.938（±0.025）、HD95 7.737 mm（±1.791）を達成した。
• Insp-Expデータセットでは、DSC 0.966（±0.019）、HD95 4.367 mm（±1.048）を達成し、SbR や RGPT を含むすべてのベースラインを上回った。
• アブレーションスタディの結果、局所的（PatchNCE）またはグローバル（ピクセル）損失のいずれかを除去すると性能が低下し、両者の補完的役割が確認された。
• 判別器を含むバージョン（w/ dis）は、提案手法よりも性能が悪く、判別器が有害なアーチファクトを引き起こし、登錌精度を低下させることを示した。
• 可視化結果から、提案手法は特に大規模な変形を示す領域で、RGPT や SbR より滑らかな変形場とより良い境界一致を実現していることが確認された。
• 提案手法は、RGPT よりもノイズやジターリングを効果的に低減した一方で、SbR が大規模な解剖学的変化を処理できない失敗を回避した。