[論文レビュー] AdaFuse: Adaptive Medical Image Fusion Based on Spatial-Frequential Cross Attention

Xian‐Ming Gu, Lihui Wang+4 more|arXiv (Cornell University)|Oct 9, 2023

Advanced Image Fusion TechniquesEngineering被引用数 3

ひとこと要約

AdaFuseは、フーリエ変換を用いた空間周波数クロスアテンションにより、動的かつ適応的にマルチモodal医療画像を統合する画期的なアプローチを提案する。空間領域および周波数領域の両方におけるクロスアテンション機構を統合し、コンテンツ損失と構造損失を組み合わせたハイブリッド損失を採用することで、優れた統合品質が得られ、詳細の保持が向上しアーチファクトが低減される。ベンチマークデータセット上での最先端手法を上回る性能を発揮する。

ABSTRACT

Multi-modal medical image fusion is essential for the precise clinical diagnosis and surgical navigation since it can merge the complementary information in multi-modalities into a single image. The quality of the fused image depends on the extracted single modality features as well as the fusion rules for multi-modal information. Existing deep learning-based fusion methods can fully exploit the semantic features of each modality, they cannot distinguish the effective low and high frequency information of each modality and fuse them adaptively. To address this issue, we propose AdaFuse, in which multimodal image information is fused adaptively through frequency-guided attention mechanism based on Fourier transform. Specifically, we propose the cross-attention fusion (CAF) block, which adaptively fuses features of two modalities in the spatial and frequency domains by exchanging key and query values, and then calculates the cross-attention scores between the spatial and frequency features to further guide the spatial-frequential information fusion. The CAF block enhances the high-frequency features of the different modalities so that the details in the fused images can be retained. Moreover, we design a novel loss function composed of structure loss and content loss to preserve both low and high frequency information. Extensive comparison experiments on several datasets demonstrate that the proposed method outperforms state-of-the-art methods in terms of both visual quality and quantitative metrics. The ablation experiments also validate the effectiveness of the proposed loss and fusion strategy.

研究の動機と目的

• マルチモダリティ医療画像からの低周波成分と高周波成分を適応的に区別・統合する、従来の深層学習ベースの統合手法の限界を解消すること。
• 柔軟性と耐性を低下させる手動で設計された統合ルールや特徴抽出技術に依存する問題を克服すること。
• 周波数ガイドドアテンション機構を用いて、統合医療画像における高周波成分の詳細と構造的整合性の保持を向上させること。
• 複雑な手動設計を避けつつ高い性能を維持する、学習可能でエンドツーエンドの統合フレームワークを開発すること。
• コンテンツ損失と構造損失を組み合わせた新規マルチ損失関数が統合品質を向上させることの有効性を検証すること。

提案手法

• 空間領域および周波数領域の両方でクエリベクトルとキーべクトルを交換することで、2モodal間の適応的特徴統合を可能にするクロスアテンション統合（CAF）ブロックを提案する。
• 周波数領域表現を抽出するためにフーリエ変換を適用し、高周波成分の詳細保持を向上させる周波数ガイドドアテンションを実現する。
• 空間特徴と周波数特徴の間でクロスアテンションを導入し、ドメイン間の情報フローを制御することで、統合をさらに精緻化する。
• 4つのスケールでスタックされたトランスフォーマーエンコーダーを用いたマルチスケールアーキテクチャを採用し、解像度に応じた階層的特徴を捉える。
• 出力画像における低周波および高周波情報の両方を保持するため、構造損失とコンテンツ損失を組み合わせたハイブリッド損失関数を設計する。
• CAFブロック内に自己アテンション機構を導入し、パッチごとに動的かつ適応的な統合重みを計算することで、特徴の重要度モデリングを強化する。

Figure 1: Examples of medical images from different modalities. (a)CT images can provide bone density information; (b)MRI images can provide high-contrast and high-resolution soft tissue structures; (c)PET and (d)SPECT can reflect physiological activities such as metabolism, molecular motion, and bl

実験結果

リサーチクエスチョン

• RQ1 周波数ガイドドクロスアテンション機構は、マルチモダリティ医療画像における低周波成分と高周波成分の適応的統合を改善できるか？
• RQ2 空間領域および周波数領域のアテンション統合の統合は、統合画像における詳細の保持と品質にどのように影響するか？
• RQ3 提案されたハイブリッド損失関数は、元画像からの補完的情報の保持をどの程度向上させるか？
• RQ4 CAFブロックは、視覚的品質および定量的指標の両面で従来の統合戦略を上回るか？
• RQ5 提案手法は、手動の統合ルール設計や大規模ラベル付きデータに依存せずに、優れた性能を達成できるか？

主な発見

• AdaFuseは、EN、MI、CC、FMIの4つの定量的指標で最先端性能を達成し、元のモダリティからの情報保持が優れていることを示した。
• 高いPSNR値を達成しており、統合出力における構造的整合性が強く保たれ、画像歪みが最小限に抑えられていることを示した。
• 視覚的結果から、明確なエッジと低減されたぼやけやコントラストアーチファクトが確認され、詳細の保持が有効に実現されていることが裏付けられた。
• アブレーションスタディにより、提案された損失関数およびCAFブロックが統合品質を顕著に向上させていることが確認され、モジュールを削除した場合にENが低下し、アーチファクトが生じる原因となった。
• 複数の公開データセットにおいて、既存のSOTA手法を上回り、そのロバストネスと一般化能力が検証された。
• 手動のルール設計なしに、CT、MRI、PET、SPECTモダリティからの補完的情報を効果的に統合できる、強力な適応性を示した。

Figure 2: Architecture of the proposed AdaFuse. Our method performs feature fusion at each of the four scales using a spatial-frequential fusion (SFF) module. In SFF, we designed the Fourier-guided fusion branch (FGFB) to extract the frequency domain features and proposed cross attention fusion (CAF