[論文レビュー] Disentangle, align and fuse for multimodal and zero-shot image segmentation

Agisilaos Chartsias, Giorgos Papanastasiou+5 more|arXiv (Cornell University)|Nov 12, 2019

Advanced MRI Techniques and Applications参考文献 41被引用数 9

ひとこと要約

本稿では、MRIシーケンス間の解剖学的要因と画像化要因を分離し、空間的トランスフォーマー・ネットワークを用いてそれらをアライメントし、共有される解剖学的特徴を統合することで、マルチモodalでゼロショットの画像セグメンテーションを実現する新規手法を提案する。この手法により、歪みや強度差が生じる状況下でも、クロスモダリティ間の情報を活用して、半教師ありおよびゼロショット学習を可能にする。

ABSTRACT

Magnetic resonance (MR) protocols rely on several sequences to properly assess pathology and organ status. Yet, despite advances in image analysis we tend to treat each sequence, here termed modality, in isolation. Taking advantage of the information shared between modalities (largely an organ's anatomy) is beneficial for multi-modality multi-input processing and learning. However, we must overcome inherent anatomical misregistrations and disparities in signal intensity across the modalities to claim this benefit. We present a method that offers improved segmentation accuracy of the modality of interest (over a single input model), by learning to leverage information present in other modalities, enabling semi-supervised and zero shot learning. Core to our method is learning a disentangled decomposition into anatomical and imaging factors. Shared anatomical factors from the different inputs are jointly processed and fused to extract more accurate segmentation masks. Image misregistrations are corrected with a Spatial Transformer Network, that non-linearly aligns the anatomical factors. The imaging factor captures signal intensity characteristics across different modality data, and is used for image reconstruction, enabling semi-supervised learning. Temporal and slice pairing between inputs are learned dynamically. We demonstrate applications in Late Gadolinium Enhanced (LGE) and Blood Oxygenation Level Dependent (BOLD) cardiac segmentation, as well as in T2 abdominal segmentation.

研究の動機と目的

• 複数のMRIシーケンス間で共有される解剖学的情報を活用することで、医用画像におけるセグメンテーション精度を向上させること。
• MRIモダリティ間の解剖学的誤登錏と信号強度の差異に起因する課題に対処すること。
• クロスモダリティ間の依存関係を活用することで、ゼロショットおよび半教師あり学習を可能にすること。
• マルチモダリティ入力間の時間的およびスライスレベルのペアリングを動的に学習すること。
• LGE、BOLD、T2心臓および腹部画像診断といった臨床的関連タスクにおけるセグメンテーション性能を向上させること。

提案手法

• 深層ニューラルアーキテクチャを用いて、入力MRIシーケンスを共有される解剖学的要因とモダリティ固有の画像化要因に分離する。
• 共有される解剖学的要因を統合的に処理・統合し、より正確なセグメンテーションマスクを生成する。
• 空間的トランスフォーマー・ネットワークを用いて、モダリティ間で非線形的に解剖学的要因をアライメントし、空間的誤登錏を是正する。
• 画像化要因を用いて画像再構成を実行し、未ラベルデータの再構成によって半教師あり学習を可能にする。
• 訓練中に時間的およびスライスレベルの入力ペアリングを動的に学習することで、モダリティ間のアライメントを向上させる。
• 共有される解剖学的表現を用いて、学習済みモダリティから未学習モダリティへ知識を転送することで、ゼロショットセグメンテーションを実現する。

実験結果

リサーチクエスチョン

• RQ1 解剖学的要因と画像化要因を分離することで、マルチモダリティMRIにおけるセグメンテーション精度が向上するか？
• RQ2 学習可能なアライメント機構を用いることで、MRIシーケンス間の空間的誤登錏はどの程度効果的に是正できるか？
• RQ3 共有される解剖学的表現は、MRIモダリティ間でゼロショットセグメンテーションをどの程度可能にするか？
• RQ4 画像化要因からの画像再構成は、データが少ない状況下での半教師あり学習をどの程度向上させるか？
• RQ5 時間的およびスライスレベルの入力ペアリングの動的学習は、セグメンテーション性能にどのように影響するか？

主な発見

• 本手法は、マルチモダリティ情報を利用することで、単一モダリティベースラインに比べてセグメンテーション精度が向上した。
• 空間的トランスフォーマー・ネットワークの使用により、解剖学的誤登錏がセグメンテーション性能に与える影響が顕著に低減された。
• 分離された表現により、未学習のMRIシーケンスに対しても効果的なゼロショットセグメンテーションが実現された。
• 画像化要因からの画像再構成により、ラベル付きデータが限られた状況下でも半教師あり学習の性能が向上した。
• 時間的およびスライスレベルのペアリングの動的学習により、より良いアライメントとより頑健な特徴統合が達成された。
• LGE、BOLD、T2腹部セグメンテーションを含む、困難な臨床的タスクにおいても、優れた性能を示した。