[論文レビュー] Cross-modality Guidance-aided Multi-modal Learning with Dual Attention for MRI Brain Tumor Grading

Dunyuan Xu, Xi Wang+2 more|arXiv (Cornell University)|Jan 17, 2024

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本論文は、MRIを用いた脳腫瘍グレーディングのためのクロスモダリティガイドランス支援マルチモーダル学習フレームワークを提案し、主モダリティが副次的モダリティにおける特徴抽出をガイドする仕組みを採用するとともに、空間的およびスライス単位のアテンションを適用して情報量の多い特徴抽出を強化している。本手法は、BraTS2018でAUC 0.985 ± 0.019、BraTS2019でAUC 0.966 ± 0.021を達成し、最先端手法を著しく上回る性能を示した。

ABSTRACT

Brain tumor represents one of the most fatal cancers around the world, and is very common in children and the elderly. Accurate identification of the type and grade of tumor in the early stages plays an important role in choosing a precise treatment plan. The Magnetic Resonance Imaging (MRI) protocols of different sequences provide clinicians with important contradictory information to identify tumor regions. However, manual assessment is time-consuming and error-prone due to big amount of data and the diversity of brain tumor types. Hence, there is an unmet need for MRI automated brain tumor diagnosis. We observe that the predictive capability of uni-modality models is limited and their performance varies widely across modalities, and the commonly used modality fusion methods would introduce potential noise, which results in significant performance degradation. To overcome these challenges, we propose a novel cross-modality guidance-aided multi-modal learning with dual attention for addressing the task of MRI brain tumor grading. To balance the tradeoff between model efficiency and efficacy, we employ ResNet Mix Convolution as the backbone network for feature extraction. Besides, dual attention is applied to capture the semantic interdependencies in spatial and slice dimensions respectively. To facilitate information interaction among modalities, we design a cross-modality guidance-aided module where the primary modality guides the other secondary modalities during the process of training, which can effectively leverage the complementary information of different MRI modalities and meanwhile alleviate the impact of the possible noise.

研究の動機と目的

• 単モダリティモデルの限界およびマルチモーダルMRI脳腫瘍グレーディングにおけるノイズの混入した統合の課題を解決すること。
• 従来のモダリティ統合戦略によるノイズの影響による性能低下を軽減すること。
• MRIシーケンス間の補完的情報を活用することで、モデルのロバスト性と診断精度を向上させること。
• 主モダリティを基準として、副次的モダリティからの情報的特徴を的確に強化するガイドランス機構を開発すること。
• 前処理を最小限に抑え、生のMRIデータに依存する高精度な性能を達成すること。

提案手法

• 効率的な特徴抽出を実現するため、軽量なバックボーンとしてResNet Mix Convolutionを用いる。
• 空間的およびスライス次元の両方における意味的相互依存関係を捉えるために、二重アテンション機構を導入する。
• 最高の性能を示すモダリティが、性能が低いモダリティの学習をガイドするクロスモダリティガイドランスモジュールを設計する。
• 主モダリティの高レベル特徴を用いて、副次的モダリティの低レベル特徴をガイドすることで、意味的ギャップを埋める。
• 訓練ステージを経る中で、以前に学習された価値ある特徴を保持する蓄積的学習戦略を採用する。
• ガイドランスおよびアテンション機構を精緻化する二段階訓練プロセスを用いる。

実験結果

リサーチクエスチョン

• RQ1 主モダリティが副次的モダリティの学習を効果的にガイドすることで、ノイズを低減し性能を向上させることができるか？
• RQ2 空間的およびスライス次元における二重アテンションは、腫瘍グレーディングのための特徴表現をどのように向上させるか？
• RQ3 クロスモダリティガイドランスは、マルチモーダルMRIデータを単純に統合する方法に起因する性能低下を緩和できるか？
• RQ4 本手法は、腫瘍ROIの正解情報やラジオミクス特徴抽出に依存せずに最先端の性能を達成できるか？
• RQ5 異なるデータ分布を示す複数のデータセットに対して、モデルのロバスト性はどの程度保たれるか？

主な発見

• 提案手法は、BraTS2018データセットでAUC 0.985 ± 0.019を達成し、単モダリティおよびマルチモーダルベースラインを著しく上回った。
• BraTS2019データセットではAUC 0.966 ± 0.021を達成し、優れた汎化性能とロバスト性を示した。
• アブレーションスタディの結果、クロスモダリティガイドランスおよび二重アテンションの両要素が最適性能を発揮するために不可欠であることが確認された。
• 腫瘍ROIの正解情報やラジオミクス特徴抽出を一切必要とせず、既存の最先端手法を上回る性能を達成した。
• 三重交差検証を通じてモデルのロバスト性が向上しており、データ分割にかかわらず一貫した性能を示した。
• 強力な性能を発揮しているものの、パラメータ数が多く、二段階の訓練プロセスを経るため、効率性と再実装のしやすさに制限がある。