[論文レビュー] Toward Unpaired Multi-modal Medical Image Segmentation via Learning Structured Semantic Consistency

Jie Yang, Ye Zhu+3 more|arXiv (Cornell University)|Jun 21, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

本論文は、CT や MRI のようなモダリティ間で構造的な意味的整合性を学習するため、プラグアンドプレイ型の外部注意モジュール（EAM）で強化された単一のトランスフォーマーベースを用いた、未対応のマルチモodal 医療画像セグメンテーション手法を提案する。ペアデータを必要とせず、グローバルクラス埋め込みと画像レベルの意味的相関を整列させることで、最先端の性能を達成し、2つのセグメンテーションタスクで平均Diceスコアをそれぞれ2.6%および2.5%向上させた。推論時にはEAMを削除することでモデルの単純性を保った。

ABSTRACT

Integrating multi-modal data to promote medical image analysis has recently gained great attention. This paper presents a novel scheme to learn the mutual benefits of different modalities to achieve better segmentation results for unpaired multi-modal medical images. Our approach tackles two critical issues of this task from a practical perspective: (1) how to effectively learn the semantic consistencies of various modalities (e.g., CT and MRI), and (2) how to leverage the above consistencies to regularize the network learning while preserving its simplicity. To address (1), we leverage a carefully designed External Attention Module (EAM) to align semantic class representations and their correlations of different modalities. To solve (2), the proposed EAM is designed as an external plug-and-play one, which can be discarded once the model is optimized. We have demonstrated the effectiveness of the proposed method on two medical image segmentation scenarios: (1) cardiac structure segmentation, and (2) abdominal multi-organ segmentation. Extensive results show that the proposed method outperforms its counterparts by a wide margin.

研究の動機と目的

• ピxlsレベルの対応関係がない未対応のマルチモダリティ医療画像（例：CT と MRI）のセグメンテーションの課題に対処すること。
• 空間的にアラインされたデータを必要とせず、ドメインシフトやモダリティの差異を克服すること。
• クラス表現とクラス間相関の両方を含む構造的な意味的整合性を、モダリティ間で学習することでモデルの汎化性能を向上させること。
• トレーニング後には削除可能で、モデルの単純性と推論効率を保つことができる軽量でモジュラーなコンponents（EAM）を設計すること。
• データが不均衡な状況下で、一方のモダリティが他方よりも少ないサンプル数を持つ場合に、効果的な知識の相互伝達を可能にすること。

提案手法

• 未対応のCTおよびMRI画像からマルチスケール特徴を抽出するために共通のトランスフォーマーベースを用いる。
• 各セマンティッククラスごとにモダリティ固有の学習可能なクラス埋め込みを導入し、各モダリティのグローバルクラスレベル特徴を表現する。
• 特徴マップとクラス埋め込みを外部注意モジュール（EAM）に供給し、複数スケールでの画像固有のクラス表現とクラス間相関を捉える。
• モダリティレベルおよび画像レベルの両方で一貫性正則化を適用し、モダリティ間でクラス表現とその相関を整列させる。
• EAMを有効にした状態でモデルをトレーニングし、推論時にはそれらを削除することで、軽量な単一トランスフォーマーセグメンテーションヘッドを維持する。
• 限られた医療データのため、ImageNetでの事前学習を活用してトレーニングの安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 未対応のマルチモダリティ医療画像（例：CT と MRI）間で、ペアデータや空間的アラインメントを必要とせずに、構造的な意味的整合性を効果的に学習できるか？
• RQ2 モダリティ固有および画像固有の意味的表現をどのように整列させれば、ドメインシフトに強いセグメンテーション性能を向上させられるか？
• RQ3 プラグアンドプレイ型の注意モジュールが意味的整合性学習を向上させるとともに、トレーニング後にモデルの単純化を可能にするか？
• RQ4 リソースが少ないモダリティが、未対応の設定下でリソースが豊富なモダリティの性能をどの程度向上させられるか？
• RQ5 異なる2Dおよび3Dの医療画像セグメンテーションタスク、特にデータ分布が異なる状況下でも、本手法はどの程度一般化するか？

主な発見

• 提案手法は、心臓構造セグメンテーションタスクにおいて、最先端のベースラインと比較して全体の平均Diceスコアを2.6%向上させた。
• 腹部多臓器セグメンテーションにおいては、既存手法と比較して平均Diceスコアを2.5%向上させ、優れた汎化性能を示した。
• 少数ショット設定（一方のモダリティが他方よりも顕著に少ないトレーニングサンプルを持つ）でも、高い性能を維持した。
• 少ないサンプル数のモダリティでさえ、より多くのサンプルを持つモダリティのトレーニングを向上させることができ、効果的なクロスモダリティ知識伝達が実現した。
• EAMモジュールはトレーニング後に成功裏に削除可能であり、単一のトランスフォーマーベースを有する軽量な推論モデルを実現した。
• ImageNetでの事前学習が性能を顕著に向上させたことから、限られたデータ環境下での初期化の重要性が浮き彫りになった。