[論文レビュー] An Attention-based Multi-Scale Feature Learning Network for Multimodal Medical Image Fusion

Zhou Meng, Xiaolan Xu+1 more|arXiv (Cornell University)|Dec 9, 2022

Advanced Image Fusion Techniques被引用数 6

ひとこと要約

本論文は、多スケール特徴抽出と固定型Softmaxベースの重み付き統合戦略を組み合わせることで、高精細で詳細豊かな統合画像を生成する、新しい拡張残差注意ネットワーク（DILRAN）を提案する。この手法は、CTとMRIスキャンの統合において、4つのベンチマーク指標で最先端の手法を上回り、視覚的品質と定量的性能の両面で優れた結果を示している。

ABSTRACT

Medical images play an important role in clinical applications. Multimodal medical images could provide rich information about patients for physicians to diagnose. The image fusion technique is able to synthesize complementary information from multimodal images into a single image. This technique will prevent radiologists switch back and forth between different images and save lots of time in the diagnostic process. In this paper, we introduce a novel Dilated Residual Attention Network for the medical image fusion task. Our network is capable to extract multi-scale deep semantic features. Furthermore, we propose a novel fixed fusion strategy termed Softmax-based weighted strategy based on the Softmax weights and matrix nuclear norm. Extensive experiments show our proposed network and fusion strategy exceed the state-of-the-art performance compared with reference image fusion methods on four commonly used fusion metrics.

研究の動機と目的

• 臨床的診断の向上を目的として、補完的 anatom的（CT）および機能的（MRI）医用画像の統合に取り組む。
• 統合画像における微細なテクスチャと構造的境界を保持する深層学習フレームワークを開発する。
• 学習に依存しない適応を必要とせず、リアルタイム推論を可能にするパラメータフリーの統合戦略を設計する。
• 拡張畳み込み、残差学習、多スケール注意メカニズムを統合することで、特徴表現を向上させる。

提案手法

• 残差接続、ピラミッド注意モジュール、拡張畳み込みを組み合わせた拡張残差注意ネットワーク（DILRAN）を提案し、多スケール特徴抽出を実現する。
• 学習可能なパラメータを一切持たない固定型Softmaxベースの重み付き統合戦略を採用し、Softmax重みと行列ノルムを用いて特徴マップを統合する。
• ピクセルレベルの差異最小化に加え、詳細の保持と構造的忠実度を向上させるために、MSE、画像勾配、および知覚損失を組み合わせたマルチロス訓練目的を採用する。
• 特徴抽出、固定統合、画像再構成モジュールを備えたエンドツーエンドフレームワークを採用し、直接的に統合出力を生成する。
• ピクセルレベルの差異最小化にとどまらず、高レベルの意味的特徴を学習する方向にネットワークを誘導するために、知覚損失を統合する。
• YCbCr空間におけるYチャンネルの処理とフルカラー出力の再構成により、3チャンネルSPECT/PETと1チャンネルMRIの統合に対応するフレームワークを適応させる。

実験結果

リサーチクエスチョン

• RQ1 学習可能な統合メカニズムと比較して、固定型でパラメータフリーの統合戦略が、マルチモodal医用画像統合で競争力のある性能を達成できるか。
• RQ2 拡張畳み込みと注意メカニズムを用いた多スケール特徴学習は、統合医用画像における詳細と境界の保持をどの程度向上させるか。
• RQ3 MSE、勾配、知覚損失の組み合わせが、MSEのみを用いる場合と比較して、統合出力の品質と現実性にどのような影響を与えるか。
• RQ4 提案されたDILRANアーキテクチャは、CT-MRIにとどまらず、MRI-PETやMRI-SPECTなどの他のマルチモーダル統合タスクにも一般化可能か。
• RQ5 本手法が失敗する状況はどのようなものか。また、統合出力にノイズや誤った特徴（例：不整合な特徴）が生じるか。

主な発見

• CT-MRI統合ベンチマークにおいて、比較手法の中で最高のPSNR（16.519）とSSIM（0.740）を達成した。
• MSE + 勾配 + 知覚損失のフル損失関数は、MSEのみの損失よりも優れた結果を示し、MIが2.9%向上（4.558 vs. 4.428）、SSIMが0.1%向上した。
• 本手法で生成された統合画像は、MSPRAN や MSDRA といったベースライン手法と比較して、より明確な境界とより自然なテクスチャを示している。
• アブレーションスタディにより、知覚損失と勾配損失が特徴レベルの表現を顕著に向上させ、ピクセルレベルの最小化に依存するのを軽減することが確認された。
• エントロピー（9.816）とFSIM（0.820）の両方で良好なスコアを達成しており、情報量が多く、構造的類似性が高いことを示している。
• 失敗事例では、MRIの詳細が曖昧な場合に、CTからのノイズや誤った特徴が統合出力に現れる可能性があるが、その場合でもMSDRAの方がわずかに優れた性能を示した。