[論文レビュー] Multimodal Brain Disease Classification with Functional Interaction Learning from Single fMRI Volume

Wei Dai, Ziyao Zhang+5 more|arXiv (Cornell University)|Aug 5, 2022

Functional Brain Connectivity Studies被引用数 6

ひとこと要約

本稿では、事前に定義された領域（ROI）に依存せず、1つのfMRIボリュームから直接機能的相互作用を学習するハイブリッド3D CNNとTransformerアーキテクチャ、BrainFormerを提案する。これにより、エンドツーエンドのマルチモodal脳疾患分類が可能となる。BrainFormerは局所的なボクセルレベルの特徴と、遠く離れた脳領域間の長距離相関をモデル化することで、自閉症、アルツハイマー病、うつ病、ADHD、頭痛の5つの脳疾患において最先端の性能を達成している。また、勾配ベースの可視化により解釈可能なバイオマーカーの局所化も可能である。

ABSTRACT

In neuroimaging analysis, fMRI can well assess the function changes for brain diseases with no obvious structural lesions. To date, most deep-learning-based fMRI studies have employed functional connectivity (FC) as the basic feature for disease classification. However, FC is calculated on time series of predefined regions of interest and neglects detailed information contained in each voxel. Another drawback of using FC is the limited sample size for the training of deep models. The low representation ability of FC leads to poor performance in clinical practice, especially when dealing with multimodal medical data involving multiple types of visual signals and textual records for brain diseases. To overcome this bottleneck problem in the fMRI feature modality, we propose BrainFormer, an end-to-end functional interaction learning method for brain disease classification with single fMRI volume. Unlike traditional deep learning methods that construct convolution and transformers on FC, BrainFormer learns the functional interaction from fMRI signals, by modeling the local cues within each voxel with 3D convolutions and capturing the global correlations among distant regions with specially designed global attention mechanisms from shallow layers to deep layers. Meanwhile, BrainFormer can deal with multimodal medical data including fMRI volume, structural MRI, FC features and phenotypic data to achieve more comprehensive brain disease diagnosis. We evaluate BrainFormer on five independent multi-site datasets on autism, Alzheimer's disease, depression, attention deficit hyperactivity disorder and headache disorders. The results demonstrate its effectiveness and generalizability for multiple brain diseases diagnosis with multimodal features. BrainFormer may promote precision of neuroimaging-based diagnosis in clinical practice and motivate future studies on fMRI analysis.

研究の動機と目的

• 機能的結合（FC）の限界を克服すること。fMRIベースの脳疾患分類では、手作業で作成されたROIに依存しており、表現能力が低く、サンプル数が少ない問題がある。
• 生のfMRI信号から直接機能的相互作用を学習するエンドツーエンドのディープラーニングフレームワークを構築すること。これにより、微細なボクセルレベルの情報を保持する。
• fMRI、構造的MRI、FC特徴、行動的データを統合した統一アーキテクチャ内で、強固なマルチモーダル分類を実現すること。
• ROIベースの平均化を避けて、3D fMRIボリューム上で勾配ベースの局所化を用いることで、解釈可能で空間的に局所化された疾患バイオマーカーを提供すること。
• 異なるスキャンプロトコルを有するマルチサイトfMRIデータセット間で、一般化性と転送可能性を向上させること。

提案手法

• BrainFormerは、1つのfMRIボリューム内の個々のボクセルにおける局所的な空間的・時間的特徴を捉えるために、浅い層で3D畳み込み層を採用する。
• 深い層では、遠く離れた脳領域間の長距離機能的相関をモデル化するための、特別に設計された2つのグローバルアテンションブロックを用いる。
• ドメインシフトに対処し、異なるスキャンパラメータを持つマルチサイトfMRIデータセット間での一般化を向上させるために、データ正規化層を適用する。
• マルチモーダル統合のため、fMRIはBrainFormerで処理され、FC特徴と行動的データは3層のMLPで処理され、すべてのモodalが最終分類の前に連結される。
• 疾患関連脳領域を可視化するために、予測に寄与する寄与度が大きいボクセルを強調表示する勾長ベースの局所化（GL）を適用する。
• 交差エントロピー損失を用いてエンドツーエンドで訓練し、標準的なバックプロパゲーションにより最適化する。

実験結果

リサーチクエスチョン

• RQ1 予め定義されたROIや機能的結合に依存せず、1つのfMRIボリュームから直接機能的相互作用を学習できるディープラーニングモデルは存在するか？
• RQ2 生のfMRI信号からのエンドツーエンド学習は、従来のFCベースの手法に比べて分類精度を向上させるか？
• RQ3 BrainFormerは、異なる取得プロトコルを持つ複数の脳疾患およびマルチサイトデータセットに一般化可能か？
• RQ4 ROI平均化を避けて、解釈可能で空間的に局所化されたバイオマーカーを提供できるか？
• RQ5 fMRI、構造的MRI、FC、行動的データのマルチモーダル統合は、診断性能にどのように影響するか？

主な発見

• BrainFormerはABIDE自閉症データセットで72.5％の精度を達成し、データ拡張や事前学習なしで最先端のASD-DiagNetを上回った。
• ADNIアルツハイマー病データセットでは、3D CNN、SC-CNN、MMTGCN、MTGCNと比較して優れた性能を示し、複数サイト間での高い転送性を実証した。
• ECHO、ADNI、ABIDEにおける3クラス分類タスクでも、BrainFormerは高い性能を維持しており、複雑な診断状況におけるロバストネスを確認した。
• ECHOデータセットの学習曲線から、トレーニング中に迅速に収束することが示され、効率的な最適化が可能であることがわかった。
• 勾長ベースの局所化により、臨床文書と整合する疾患関連領域（例：うつ病における前頭前皮質、片頭痛における背側前扣帯皮質）が特定された。
• 1つのfMRIボリュームを入力として使用することで、有効なサンプルサイズを100倍以上に増加でき、神経画像研究におけるデータ収集負荷を軽減できる。