[論文レビュー] Hi-Net: Hybrid-fusion Network for Multi-modal MR Image Synthesis

Tao Zhou, Huazhu Fu+3 more|arXiv (Cornell University)|Feb 11, 2020

Advanced Image Fusion Techniques参考文献 53被引用数 5

ひとこと要約

本稿では、モダリティ固有の特徴学習と適応的マルチモーダル融合を組み合わせることで欠落したMRIモダリティを合成するハイブリッド融合ネットワーク、Hi-Netを提案する。モダリティ固有のエンコーダー、混合融合ブロック（MFB）を備えた融合ネットワーク、およびレイヤーごとの融合を統合することで、BraTS2018データセットにおけるT1およびT2入力からのFlair画像合成で、PSNR 25.05 ± 1.325の最先端性能を達成した。

ABSTRACT

Magnetic resonance imaging (MRI) is a widely used neuroimaging technique that can provide images of different contrasts (i.e., modalities). Fusing this multi-modal data has proven particularly effective for boosting model performance in many tasks. However, due to poor data quality and frequent patient dropout, collecting all modalities for every patient remains a challenge. Medical image synthesis has been proposed as an effective solution to this, where any missing modalities are synthesized from the existing ones. In this paper, we propose a novel Hybrid-fusion Network (Hi-Net) for multi-modal MR image synthesis, which learns a mapping from multi-modal source images (i.e., existing modalities) to target images (i.e., missing modalities). In our Hi-Net, a modality-specific network is utilized to learn representations for each individual modality, and a fusion network is employed to learn the common latent representation of multi-modal data. Then, a multi-modal synthesis network is designed to densely combine the latent representation with hierarchical features from each modality, acting as a generator to synthesize the target images. Moreover, a layer-wise multi-modal fusion strategy is presented to effectively exploit the correlations among multiple modalities, in which a Mixed Fusion Block (MFB) is proposed to adaptively weight different fusion strategies (i.e., element-wise summation, product, and maximization). Extensive experiments demonstrate that the proposed model outperforms other state-of-the-art medical image synthesis methods.

研究の動機と目的

• コスト、時間、安全性の制約により臨床現場で欠落するMRIモダリティの課題に対処すること。
• 単一モダリティ入力に依存するのではなく、複数の既存MRIモダリティからの補完的情報を活用することで、医療画像合成を向上させること。
• 統一されたディープラーニングフレームワーク内で、モダリティ固有の特徴の保持とクロスモダリティ相関の活用のバランスを取ること。
• マルチモーダル融合を用いて高精細な欠落したMRIモダリティを合成する、耐障害的でエンドツーエンドのアーキテクチャを構築すること。

提案手法

• Hi-Netは、T1、T2、Flairなどの個々のMRIモダリティから高レベルの表現を学習するため、モダリティ固有のオートエナコーダーネットワークを採用する。
• 多モーダル特徴間の相関を活用して共有潜在表現を学ぶために、専用の融合ネットワークを導入する。
• 複数の特徴階層にわたり、レイヤーごとのマルチモーダル融合戦略を適用することで、異なる抽象化レベルでの表現学習を強化する。
• 混合融合ブロック（MFB）は、要素ごとの和、要素ごとの積、および最大化操作を動的に重み付けすることで、融合戦略を適応的に組み合わせる。
• 生成ネットワークは、モダリティ固有の特徴と融合された潜在表現を、密なスキップ接続を通じて統合し、ターゲットモダリティ画像を合成する。
• 合成画像と実際のターゲット画像の差を最小化する再構成損失を用いて、ネットワーク全体をエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 複数の既存モダリティを組み合わせることで、ハイブリッド融合ネットワークが欠落したMRIモダリティを効果的に合成できるか？
• RQ2 モダリティ固有の表現学習と共有表現学習を統合することで、単一モダリティベースラインと比較して合成品質がどのように向上するか？
• RQ3 早期融合、後期融合、またはレイヤーごとの融合といった異なる融合戦略が、合成性能に与える影響は何か？
• RQ4 混合融合ブロック（MFB）が複数の融合操作を適応的に重み付けることで、特徴統合の向上にどの程度効果的か？
• RQ5 提案手法が、下流のマルチモーダル学習タスクの性能向上を目的としたデータ拡張戦略として有効に機能するか？

主な発見

• BraTS2018データセットにおけるT1およびT2入力からのFlair画像合成で、Hi-NetはPSNR 25.05 ± 1.325を達成し、すべてのアブレーション変種および最先端手法を上回った。
• アブレーションスタディの結果、融合ネットワークにMFBを適用した場合（PSNR: 24.47 ± 1.245）は、生成ネットワークにMFBを適用した場合（PSNR: 23.83 ± 0.912）よりも優れた結果を示した。
• MFBを用いたレイヤーごとの融合戦略は、早期融合（PSNR: 22.84 ± 0.975）および後期融合（PSNR: 23.63 ± 1.110）よりも顕著に性能を向上させた。
• 完全なHi-Netモデルは、最小のNMSE（0.0258 ± 0.009）と最大のSSIM（0.8909 ± 0.030）を達成し、優れた再構成忠実度と構造的保存性を示した。
• 結果から、モダリティ固有の特徴を保持しつつクロスモダリティ相関を統合することで、より正確で現実的である画像合成が可能になることが明らかになった。