[論文レビュー] Unified Multi-Modal Image Synthesis for Missing Modality Imputation

Yue Zhang, Chengtao Peng+4 more|arXiv (Cornell University)|Apr 11, 2023

Generative Adversarial Networks and Image Synthesis参考文献 57被引用数 6

ひとこと要約

本論文は、利用可能なモodalの任意の組み合わせを用いて欠落した医用画像対照を補完する統合的生成対抗ネットワークを提案する。共通性と相違性に敏感なエンコーダーを導入し、共有特徴とモダリティ固有の特徴を捉える。また、可変な入力モダリティ間での特徴統合を強化するためのダイナミック特徴統合モジュールを提案し、BraTSおよびIXIデータセットで28.23 dBのPSNRおよび0.937のSSIMを達成し、最先端の性能を発揮した。

ABSTRACT

Multi-modal medical images provide complementary soft-tissue characteristics that aid in the screening and diagnosis of diseases. However, limited scanning time, image corruption and various imaging protocols often result in incomplete multi-modal images, thus limiting the usage of multi-modal data for clinical purposes. To address this issue, in this paper, we propose a novel unified multi-modal image synthesis method for missing modality imputation. Our method overall takes a generative adversarial architecture, which aims to synthesize missing modalities from any combination of available ones with a single model. To this end, we specifically design a Commonality- and Discrepancy-Sensitive Encoder for the generator to exploit both modality-invariant and specific information contained in input modalities. The incorporation of both types of information facilitates the generation of images with consistent anatomy and realistic details of the desired distribution. Besides, we propose a Dynamic Feature Unification Module to integrate information from a varying number of available modalities, which enables the network to be robust to random missing modalities. The module performs both hard integration and soft integration, ensuring the effectiveness of feature combination while avoiding information loss. Verified on two public multi-modal magnetic resonance datasets, the proposed method is effective in handling various synthesis tasks and shows superior performance compared to previous methods.

研究の動機と目的

• スキャン時間、アーチファクト、プロトコルの違いによる不完全なマルチモodal MRIデータの課題に対処すること。
• 複数の異なるモデルを必要とせず、任意の組み合わせの利用可能なモダリティから欠落したモダリティを合成できる単一の統合モデルを開発すること。
• 入力画像に含まれるモダリティに依存しない（共通性）およびモダリティ固有の（相違性）特徴を捉えることで、画像品質を向上させること。
• 効果的な特徴統合戦略により、利用可能なモダリティ数の変動に強く対応すること。

提案手法

• モダリティ固有および共通のエンコーディングストリームを備えた共通性および相違性に敏感なエンコーダー（CDS-Encoder）を提案し、入力モダリティから不変および固有の特徴を抽出する。
• 複数の入力モダリティからの特徴をハード統合およびソフト統合するダイナミック特徴統合モジュール（DFUM）を導入し、情報損失を最小限に抑える。
• 各ターゲットモダリティごとに別々のデコードパスを持つマルチストリームジェネレータを採用し、任意の欠落した対照のエンドツーエンド合成を可能にする。
• 訓練中に段階的に複雑な入力構成を露出するカリキュラム学習戦略を採用し、収束性と性能の向上を図る。
• 生成的対抗ネットワーク（GAN）フレームワークを採用し、敵対的損失、サイクル整合性損失、および知覚的損失を用いて、生成画像の現実性と構造的忠実性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 任意の組み合わせの利用可能なモダリティから欠落したMRIモダリティを効果的に合成できる統合的ディープラーニングモデルは構築可能か？
• RQ2 モダリティに依存しない特徴とモダリティ固有の特徴を効果的に活用することで、画像合成品質をどのように向上させられるか？
• RQ3 情報損失を最小限に抑えるために、可変な数の入力モダリティを処理するにあたり、どの特徴統合戦略が最も効果的か？
• RQ4 カリキュラム学習は、マルチモーダル画像合成タスクにおける訓練の安定性と性能を向上させるか？

主な発見

• 提案されたCDS-Encoderは、BraTSデータセットで28.23 dBのPSNRおよび0.937のSSIMを達成し、MMS-Encoderを+0.40 dBのPSNRおよび+0.006のSSIMで上回った。
• DFUMモジュールは、マックスプールングを基準とすると+0.44 dBのPSNRおよび+0.005のSSIMを向上させ、HeMISと比較すると+0.63 dBのPSNRおよび+0.007のSSIMを向上させた。
• カリキュラム学習を組み込むことで、PSNRが0.30 dB、SSIMが0.004向上し、訓練の安定性と収束性への有効性が示された。
• 本手法はBraTSおよびIXIデータセットの両方で最先端の性能を達成し、リアルなテクスチャと詳細な構造的ディテールを有する高精細な画像を生成した。
• 可視化比較では、本手法がぼやけた出力を生成しがちなベースラインGANと比較して、よりシャープでアーチファクトの少ない画像を生成していることが確認された。
• アブレーションスタディの結果、CDS-EncoderおよびDFUMの両方が本手法の全体的な性能向上に不可欠であることが確認され、それぞれが顕著な寄与を示した。