[論文レビュー] Interpretable multimodal fusion networks reveal mechanisms of brain cognition

Wenxing Hu, Xiang-He Meng+8 more|arXiv (Cornell University)|Jun 16, 2020

Functional Brain Connectivity Studies参考文献 26被引用数 8

ひとこと要約

本稿では、勾配ベースのクラス特異的活性マップと共同学習を組み合わせることで、同時に脳疾患分類と生物学的メカニズムの解釈を可能にする解釈可能なマルチモーダル統合モデル、gCAM-CCLを提案する。この手法は、認知機能に関連する重要な脳領域および遺伝的マーカーを同定し、高WRATスコアの被験者は神経伝達物質シグナルが強化されているのに対し、低スコアの被験者は遺伝的変異に起因する神経発達障害を示すことが明らかになった。

ABSTRACT

Multimodal fusion benefits disease diagnosis by providing a more comprehensive perspective. Developing algorithms is challenging due to data heterogeneity and the complex within- and between-modality associations. Deep-network-based data-fusion models have been developed to capture the complex associations and the performance in diagnosis has been improved accordingly. Moving beyond diagnosis prediction, evaluation of disease mechanisms is critically important for biomedical research. Deep-network-based data-fusion models, however, are difficult to interpret, bringing about difficulties for studying biological mechanisms. In this work, we develop an interpretable multimodal fusion model, namely gCAM-CCL, which can perform automated diagnosis and result interpretation simultaneously. The gCAM-CCL model can generate interpretable activation maps, which quantify pixel-level contributions of the input features. This is achieved by combining intermediate feature maps using gradient-based weights. Moreover, the estimated activation maps are class-specific, and the captured cross-data associations are interest/label related, which further facilitates class-specific analysis and biological mechanism analysis. We validate the gCAM-CCL model on a brain imaging-genetic study, and show gCAM-CCL's performed well for both classification and mechanism analysis. Mechanism analysis suggests that during task-fMRI scans, several object recognition related regions of interests (ROIs) are first activated and then several downstream encoding ROIs get involved. Results also suggest that the higher cognition performing group may have stronger neurotransmission signaling while the lower cognition performing group may have problem in brain/neuron development, resulting from genetic variations.

研究の動機と目的

• 脳疾患診断に用いられる深層ニューラルネットワークベースのマルチモーダル統合モデルにおける解釈可能性の欠如に対処すること。
• クラス特異的でピクセル単位の活性マップを生成することにより、正確な診断と生物学的メカニズム解析を同時に可能にする手法の開発。
• マルチモーダル画像およびゲノムデータを用いて、認知機能に関連する脳機能的結合パターンと遺伝的変異を同定すること。
• 解釈可能なディープラーニングを用いて、認知能力の差異を規定する神経生物学的メカニズムを解明すること。
• 読解能力（WRAT）分類を対象とした実世界の画像・遺伝子研究において、モデルの妥当性を検証すること。

提案手法

• gCAM-CCLは、勾配ベースのクラス活性マッピング（Grad-CAM）と共同学習層を統合し、マルチモーダル入力（例：fMRIと遺伝データ）からクラス特異的でピクセル単位の活性マップを生成する。
• モデルは特徴マップを通じた勾配バックプロパゲーションを用いて重要度重みを計算し、これをグローバルに平均化することで解釈可能な活性マップを生成する。
• 共同学習層を導入することで、収集されたデータ間の関連性がターゲット特性（例：高WRAT対低WRATスコア）に関連していることを保証し、解釈可能性を向上させる。
• 注目メカニズムに類似した重み付けを施したディープニューラルネットワークアーキテクチャを通じて、機能的MRIから得られる脳機能的結合（FC）行列と単一ヌクレオチド多型（SNP）データを統合する。
• クラス特異的活性マップを用いて、支配的である脳領域およびROI-ROI結合を同定し、疾患または特性関連神経回路の可視化を可能にする。
• SNPsの遺伝子豊富度解析を、ConsensusPathDB-humanデータベースを用いてモデルが同定したSNPsに対して実施し、遺伝的マーカーと生物学的経路を結びつける。

実験結果

リサーチクエスチョン

• RQ1 読解タスクにおける高認知機能と低認知機能を予測する上で、どの脳領域および機能的結合パターンが最も予測的であるか？
• RQ2 深層マルチモーダル統合モデルは、診断精度を越えて生物学的に意味のあるメカニズムを明らかにするために、どのようにして解釈可能にできるか？
• RQ3 解釈可能な統合モデルが明らかにするところの、認知機能の差異に関連する遺伝的変異および生物学的経路は何か？
• RQ4 同定された機能的結合パターンおよび遺伝的マーカーは、認知に関連する既知の神経生物学的プロセスと整合しているか？
• RQ5 モデルは、画像および遺伝子データに基づいて高スコア群と低スコア群を識別することができるか？ また、その背後にあるメカニズムについて解釈可能なインサイトを提供できるか？

主な発見

• 高WRATスコア群は、物体および視覚的語彙認識に重要な役割を果たす、側頭側頭回、中側頭回、下側頭回の3つの頭頂小脳領域間の支配的機能的結合と関連していた。
• 初期視覚処理の後に、cuneusおよび海馬傍回といった後続領域が活性化されており、タスク中に段階的な処理カスケードが進行していることが示された。
• 低WRATスコア群では支配的ハブ領域（ROI）が認められなかったが、時間的・頭頂領域およびcingulate gyriといったタスク負の領域での活性が増加しており、認知処理ネットワークの弱い活性化を示唆した。
• 遺伝子豊富度解析により、高WRATスコア群のSNPsは神経伝達物質シグナル伝達および神経伝達物質レベルの調節を含む神経伝達物質経路と有意に関連していた。
• 一方、低WRATスコア群のSNPsは、中脳発達および成長細胞の誘導を含む神経発達経路に豊富であり、脳成熟の障害が潜在的に存在する可能性を示唆した。
• モデルは低WRAT個体の分類において感度よりも特異度が高く、低スコア群の機能的結合パターンがより判別性が低く、おそらくノイズが多い可能性があることを示した。