[論文レビュー] Multimodal Neurodegenerative Disease Subtyping Explained by ChatGPT

Diego Machado Reyes, Hanqing Chao+3 more|arXiv (Cornell University)|Jan 31, 2024

Artificial Intelligence in Healthcare and EducationMedicine被引用数 3

ひとこと要約

本論文は、初期（前症候期）段階のアルツハイマー病（AD）をサブタイプ化するために、ベースライン画像、遺伝、臨床データを統合するマルチモーダル深層学習フレームワーク、Tri-COATを提案する。単一モダリティモデルよりも分類性能が向上し、ChatGPTなどの大規模言語モデル（LLM）を活用して、脳委縮、遺伝的リスク、認知機能低下の間の生物学的に妥当な関連性を臨床的に解釈可能な説明として生成する。

ABSTRACT

Alzheimer's disease (AD) is the most prevalent neurodegenerative disease; yet its currently available treatments are limited to stopping disease progression. Moreover, effectiveness of these treatments is not guaranteed due to the heterogenetiy of the disease. Therefore, it is essential to be able to identify the disease subtypes at a very early stage. Current data driven approaches are able to classify the subtypes at later stages of AD or related disorders, but struggle when predicting at the asymptomatic or prodromal stage. Moreover, most existing models either lack explainability behind the classification or only use a single modality for the assessment, limiting scope of its analysis. Thus, we propose a multimodal framework that uses early-stage indicators such as imaging, genetics and clinical assessments to classify AD patients into subtypes at early stages. Similarly, we build prompts and use large language models, such as ChatGPT, to interpret the findings of our model. In our framework, we propose a tri-modal co-attention mechanism (Tri-COAT) to explicitly learn the cross-modal feature associations. Our proposed model outperforms baseline models and provides insight into key cross-modal feature associations supported by known biological mechanisms.

研究の動機と目的

• 疾患の異質性と初期バイオマーカーの限界による、初期アルツハイマー病のサブタイピングの課題に対処すること。
• 単一モダリティモデルや説明不能な深層学習手法の限界を克服し、前症候期ADの分類を向上させること。
• 画像、遺伝、臨床の初期段階の指標（ベースライン）を活用したマルチモーダル統合フレームワークを構築し、サブタイピングの正確性を向上させること。
• 大規模言語モデル（例：ChatGPT）を統合して、特徴レベルの関連性について臨床的に意味のある説明を生成することで、モデルの解釈可能性を高めること。
• 説明可能でマルチモーダルなサブタイピングを基盤として、神経変性疾患におけるパーソナライズド・メディスンを実現すること。

提案手法

• 画像、遺伝、臨床データの3モダリティ間のクロスモダリティ特徴相互作用を明示的にモデル化するための三モダリティ共注意力メカニズム（Tri-COAT）を提案する。
• 縦断的フォローアップを伴わない初期段階のベースラインデータを用いて、前症候期または無症状段階でのサブタイピングを訓練する。
• モデル予測を駆動する顕著な特徴を特定するために、勾配ベースの属性付け手法（例：Integrated Gradients）を適用する。
• 大規模言語モデル（例：ChatGPT、Bard）向けに、特徴名、患者の値、集団平均からの逸脱を含む構造化されたプロンプトを設計する。
• 自然言語レポートを生成し、顕著な特徴と既知の生物学的メカニズム（例：右insulaの脳委縮が急速なAD進行に関連）を結びつける。
• 臨床文献との照合を通じて、LLMが生成した説明の正確性と生物学的妥当性を評価するが、誤った記述（ホールーシネーション）の可能性にも注意を払う。

Figure 1: The three main multimodal fusion strategies, early, intermediate and late fusion, for deep learning methods.

実験結果

リサーチクエスチョン

• RQ1 画像、遺伝、臨床評価からのみ構成されるベースライン（縦断的でない）データを用いて、マルチモーダル深層学習モデルがアルツハイマー病のサブタイピングを効果的に行えるか。
• RQ2 モデルが同定したクロスモダリティ特徴関連性は、アルツハイマー病の既知の生物学的メカニズムとどの程度整合するか。
• RQ3 ChatGPTなどの大規模言語モデルが、モデル予測および特徴の属性付けに対して正確で臨床的に関連性のある説明をどの程度生成できるか。
• RQ4 LLMが生成する解釈は、神経変性疾患のサブタイピングにおけるマルチモーダル深層学習モデルの透明性と信頼性を向上させられるか。
• RQ5 モデルが特異的または保護的特徴（例：cuneusにおけるより高い皮質厚さ）を検出・解釈できることは、ADにおける既知の補償メカニズムを反映しているか。

主な発見

• Tri-COATモデルは、ベースラインのマルチモーダルデータのみを用いても、従来モデルを上回る性能を示し、分類性能が向上した。
• モデルは、右insulaの体積減少が急速な疾患進行と関連することを同定し、既知の神経解剖学的・病理学的所見と整合した、重要なクロスモダリティバイオマーカー・ネットワークを特定した。
• 大規模言語モデル（ChatGPTおよびBard）が生成した説明は、臨床文献と整合しており、右cuneusにおける皮質厚さの上昇を補償的メカニズムとして解釈した。
• LLMが生成したレポートは、顕著な特徴の生物学的に妥当な解釈を提供し、脳領域の機能的役割や集団平均からの測定値の逸脱の意味を含んでいた。
• モデルは特異的パターン（ADで通常萎縮する領域における、平均を上回る皮質厚さ）を検出し、保護的または補償的特徴への感受性を示した。
• 有望な結果が得られたが、LLMはしばしば虚構的または推測的な主張を生成する傾向にあり、臨床応用における主要な限界を示唆した。

Figure 2: Illustration of the proposed framework for AD subtyping, consisting of two main sections: (a) single modality encoding and (b) tri-modal attention and joint encoding.