[論文レビュー] FIRE: Unsupervised bi-directional inter-modality registration using deep networks

Chengjia Wang, Giorgos Papanastasiou+4 more|arXiv (Cornell University)|Jul 11, 2019

Medical Image Segmentation Techniques参考文献 11被引用数 12

ひとこと要約

本稿では、アフィン変換と非剛性変換を同時に学習する、双方向的かつ逆一貫性を持つ新規な教師なし深層学習フレームワークFIREを提案する。モodalit-Independentな潜在表現とサイクル一貫性のある合成を活用することで、多シーケンス脳MRIおよび4D心臓シス-MRIにおいて最先端の性能を達成し、特にIR-FLAIR登録という困難なタスクにおいてDiceスコア0.69を達成した。

ABSTRACT

Inter-modality image registration is an critical preprocessing step for many applications within the routine clinical pathway. This paper presents an unsupervised deep inter-modality registration network that can learn the optimal affine and non-rigid transformations simultaneously. Inverse-consistency is an important property commonly ignored in recent deep learning based inter-modality registration algorithms. We address this issue through the proposed multi-task architecture and the new comprehensive transformation network. Specifically, the proposed model learns a modality-independent latent representation to perform cycle-consistent cross-modality synthesis, and use an inverse-consistent loss to learn a pair of transformations to align the synthesized image with the target. We name this proposed framework as FIRE due to the shape of its structure. Our method shows comparable and better performances with the popular baseline method in experiments on multi-sequence brain MR data and intra-modality 4D cardiac Cine-MR data.

研究の動機と目的

• 深層学習ベースのモダリティ間登録における逆一貫性の欠如が解剖学的トポロジーの保存を損なう問題に対処する。
• 教師付きラベルを必要とせず、最適なアフィン変換と非剛性変換を同時に学習する統合フレームワークの開発。
• T1、FLAIR、IRなどの顕著に異なるモダリティ間登録におけるロバストネスの向上。
• 手動アノテーションや事前登録済みデータを一切使用せず、画像強度と空間的一致性のみを用いた教師なし学習の実現。
• IR-FLAIRのような困難なモダリティペアにおいて性能を向上させるための新規アーキテクチャと正則化の導入。

提案手法

• FIREモデルは、入力画像x^Aおよびx^Bからモダリティに依存しない特徴を抽出する共通の合成エンコーダGを用いる。
• 2つの合成デコーダF^{A→B}およびF^{B→A}が、共通の特徴から異モダリティの合成画像を生成する。
• 2つの変換ネットワークT^{A→B}およびT^{B→A}が、符号化された特徴を用いて前向きおよび逆向きの変形場を予測する。
• φ^{A→B}およびφ^{B→A}が互いに一貫していることを保証する損失を最小化することで、逆一貫性を強制する。
• 合成画像にサイクル一貫性のある adversarial 損失を適用し、特徴の整合性およびモダリティ変換の質を向上させる。
• 予測されたアフィン変換を活用する新規な正則化を導入し、非剛性登録の安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 教師付き変換が存在しない状況下でも、教師なし深層学習モデルがモダリティ間MRI登録において逆一貫性を達成できるか？
• RQ2 1つのネットワークが双方向的に、アフィン変換と非剛性変換の両方を同時に最適化できるか？
• RQ3 モダリティ不変特徴の学習が、クロスモダリティ合成および登録精度を向上させるか？
• RQ4 従来の手法が失敗するような、IRとFLAIRのような顕著に異なるモダリティ間で、本手法はどのように性能を発揮するか？
• RQ5 提案アーキテクチャは、3D脳MRIおよび4D心臓シス-MRIの両データセットで最先端の性能を達成できるか？

主な発見

• MRBrainS T1-FLAIR 3D登録において、FIREは脳幹（BS）でDiceスコア81.08を達成し、ANTs-SyN（79.77）を上回った。
• 3Dにおける白質（WHM）では、FIREがDiceスコア72.56を達成し、ANTs-SyN（72.33）をわずかに上回った。
• 困難なIR-FLAIR登録タスクにおいて、FIREはDiceスコア0.69を達成したが、ANTs-SyNは明確なアライメントを生成できず、0.4未満のスコアに留まった。
• 2D T1-FLAIR登録では、FIREはBSでDiceスコア80.68、WHMで84.18を達成し、ANTs-SyN（78.73および81.36）を上回った。
• ACDC 4D心臓シス-MRIでは、FIREは左心室内膜面（LVe）でDiceスコア90.08を達成し、ANTs-SyN（90.81）と同等の性能を示した。
• 特に2D T1-FLAIRケースにおいて、脳脊髄液の輪郭がextracerebral空間で視覚的に優れたアライメントを示した。