[論文レビュー] Cross-modality Attention Adapter: A Glioma Segmentation Fine-tuning Method for SAM Using Multimodal Brain MR Images

Xiaoyu Shi, Shurong Chai+5 more|arXiv (Cornell University)|Jul 3, 2023

Brain Tumor Detection and Classification被引用数 5

ひとこと要約

本稿では、T1、T1c、T2、FLAIR画像系列間のクロスアテンション機構を活用して、マルチモodal脳MRIにおける膠腫瘍画像分類のためのSegment Anything Model (SAM) を微調整するためのクロスモダリティアテンションアダプタ (CMA) を提案する。提案手法は、プライベートな膠腫瘍データセット上で88.38%のDiceスコアと10.64のHausdorff距離を達成し、最先端手法よりDiceスコアで4%優れている。これは、小規模な医療画像データセットにおける一般化性能の向上を示している。

ABSTRACT

According to the 2021 World Health Organization (WHO) Classification scheme for gliomas, glioma segmentation is a very important basis for diagnosis and genotype prediction. In general, 3D multimodal brain MRI is an effective diagnostic tool. In the past decade, there has been an increase in the use of machine learning, particularly deep learning, for medical images processing. Thanks to the development of foundation models, models pre-trained with large-scale datasets have achieved better results on a variety of tasks. However, for medical images with small dataset sizes, deep learning methods struggle to achieve better results on real-world image datasets. In this paper, we propose a cross-modality attention adapter based on multimodal fusion to fine-tune the foundation model to accomplish the task of glioma segmentation in multimodal MRI brain images with better results. The effectiveness of the proposed method is validated via our private glioma data set from the First Affiliated Hospital of Zhengzhou University (FHZU) in Zhengzhou, China. Our proposed method is superior to current state-of-the-art methods with a Dice of 88.38% and Hausdorff distance of 10.64, thereby exhibiting a 4% increase in Dice to segment the glioma region for glioma treatment.

研究の動機と目的

• 膠腫瘍画像分類におけるアノテート済み医療画像データの限定的状況に対処するため、基礎モデルを小規模データセットに適応させる。
• マルチモダリティ脳MRIにおける膠腫瘍診断のため、Segment Anything Model (SAM) の画像分類性能を向上させる。
• T1、T1c、T2、FLAIRの複数のMRI系列間の情報を効果的に統合する、パラメータ効率の良い微調整手法を開発する。
• 鄭州大学第一附属病院の実際の膠腫瘍データセットを用いて、手法の有効性を検証する。
• 既存の最先端手法と比較して、膠腫瘍画像分類タスクにおいて優れた性能を達成する。

提案手法

• 本手法は、異なるMRI系列（T1、T1c、T2、FLAIR）からの特徴量間のクロスアテンション相互作用を学習するクロスモダリティアテンションアダプタ（CMA）モジュールを導入する。
• CMAモジュールは、SAMのビジョンエンコーダーに挿入され、全体のバックボーンを微調整せずに、モダリティ固有の特徴量の最適化を可能にする。
• マルチモダリティ特徴量は連結され、軽量なアダプターヘッドを経由して画像分類マスクを生成する。
• バイナリクロスエントロピー損失とDice損失の組み合わせを用いて、プライベートな膠腫瘍データセット上でエンドツーエンドで微調整する。
• 低学習率でアダプタを学習させることで、事前学習済み特徴量を保持しつつ、医療画像ドメインに適応する。
• 本手法により、SAMの再トレーニングを大幅に回避しつつ、膠腫瘍画像分類に効率的に適応可能である。

実験結果

リサーチクエスチョン

• RQ1 クロスモダリティアテンションアダプタは、マルチモダリティ脳MRIにおける膠腫瘍画像分類のためのSAM性能を効果的に向上させることができるか？
• RQ2 小規模な医療画像データセットにおいて、本手法のアダプタは既存の微調整手法と比較して、画像分類の正確性と頑健性に優れているか？
• RQ3 異なるMRI系列間のクロスアテンションは、膠腫瘍領域の局在化に向けた特徴表現をどの程度向上させるか？
• RQ4 特定の医療画像タスクに適応する際、SAMの一般化能力を保持しているか？
• RQ5 アテンションによるモダリティ統合は、膠腫瘍画像分類におけるDiceスコアとHausdorff距離にどのような影響を与えるか？

主な発見

• 提案手法は、プライベートな膠腫瘍データセットで88.38%のDiceスコアを達成し、従来の最先端手法を顕著に上回った。
• Hausdorff距離は10.64にまで低下し、膠腫瘍領域の境界局在化が改善されたことを示している。
• 既存手法と比較してDiceスコアが4%向上し、顕著な性能向上が確認された。
• クロスモダリティアテンションアダプタにより、SAMのバックボーンを再トレーニングせずに、マルチモダリティMRI特徴量の有効な統合が可能となった。
• 最小限のパラメータ更新で高い性能を維持でき、効率性と転送可能性の両立を実証した。
• 結果は、小規模データ向け医療画像分類タスクにおけるSAMの性能向上に、アダプタの有効性を裏付けた。