[論文レビュー] Reinforcement Learning based Disease Progression Model for Alzheimer's Disease

Krishnakant Saboo, Anirudh Choudhary+4 more|arXiv (Cornell University)|Jun 30, 2021

Mental Health Research Topics被引用数 4

ひとこと要約

本論文では、ドメイン知識を用いて認知機能を最適化し、代謝コストを最小化する報酬関数を定義することで、微分方程式（DEs）と強化学習（RL）を組み合わせた新規ハイブリッドモデルを提案する。RLエージェントはDEsが捉えきれない生物学的関係を同定し、最先端の深層学習モデルよりも正確で解釈可能な10年間の認知機能推移予測を可能にし、脳機能における隠れた補償機構を明らかにする。

ABSTRACT

We model Alzheimer's disease (AD) progression by combining differential equations (DEs) and reinforcement learning (RL) with domain knowledge. DEs provide relationships between some, but not all, factors relevant to AD. We assume that the missing relationships must satisfy general criteria about the working of the brain, for e.g., maximizing cognition while minimizing the cost of supporting cognition. This allows us to extract the missing relationships by using RL to optimize an objective (reward) function that captures the above criteria. We use our model consisting of DEs (as a simulator) and the trained RL agent to predict individualized 10-year AD progression using baseline (year 0) features on synthetic and real data. The model was comparable or better at predicting 10-year cognition trajectories than state-of-the-art learning-based models. Our interpretable model demonstrated, and provided insights into, "recovery/compensatory" processes that mitigate the effect of AD, even though those processes were not explicitly encoded in the model. Our framework combines DEs with RL for modelling AD progression and has broad applicability for understanding other neurological disorders.

研究の動機と目的

• ベースラインの臨床的および神経画像データを用いて、個別化された10年間のアルツハイマー病（AD）進行を予測するモデルを開発すること。
• ADにおけるすべての生物学的関係を捉えきれない不完全な微分方程式（DE）モデルの限界を、強化学習（RL）の統合によって解消すること。
• 特に、認知機能の最大化と代謝コストの最小化のトレードオフというドメイン知識を、RLの報酬関数に組み込むこと。
• AD進行に伴う脳ネットワークの補償機構について、解釈可能でメカニズム的な知見を提供すること。
• 実データおよび合成データ上で、既存の学習ベースのモデルを上回る長期認知機能推移予測性能を達成すること。

提案手法

• モデルは、脳構造、活動、認知機能の時間的変化をシミュレートするために、既知のDEsの集合を用いる。
• 認知機能、脳領域サイズ、活動の間の欠落した関係は、ドメイン知識に基づく報酬関数を最適化するRLによって推定される。
• 報酬関数は、認知機能のパフォーマンス（目標認知機能と実際の認知機能のずれの最小化）と代謝コスト（認知機能に要する脳活動の最小化）のバランスを取る。
• RLエージェントは、各時刻で脳領域（例：海馬および前頭前皮質）間の最適な情報処理分布を選択し、報酬を最大化する。
• フレームワークはDEに基づくシミュレータを用い、10年間の時間枠で報酬関数の最適化をRLエージェントに学習させる。
• コントロールモデルの分析により、観察された補償行動がモデルアーキテクチャそのものではなく、二項報酬関数（認知不一致とエネルギー代謝コスト）に起因することが検証された。

実験結果

リサーチクエスチョン

• RQ1 微分方程式と強化学習のハイブリッドフレームワークは、アルツハイマー病における10年間の個別化された認知機能推移を正確に予測できるか？
• RQ2 認知機能のパフォーマンスと代謝コストのバランスを取る報酬関数から、脳機能における隠れた補償機構が自然に生じるか？
• RQ3 RLの導入により、minimalRNNなどの最先端の深層学習モデルと比較して、予測精度がどのように向上するか？
• RQ4 認知不一致とエネルギー代謝コストのトレードオフは、生物学的に妥当な回復プロセスを生成するために果たす役割は何か？
• RQ5 モデルは、AD進行に伴う脳ネットワーク適応に関する解釈可能なメカニズム的知見を明らかにできるか？

主な発見

• 提案モデルは、実ADNIデータにおいて、最先端の深層学習モデル（minimalRNN）と比較して予測誤差を約10%低減した。
• SVRやminimalRNNを含むベンチマークモデルと比較して、本モデルはより現実的な10年間の認知機能推移を生成した。
• モデルは、明示的にモデルに組み込まれていない「回復／補償」的プロセスを同定し、神経ネットワークの適応的再編成を示唆した。
• コントロール実験により、補償行動がモデルアーキテクチャそのものではなく、二項報酬関数（認知不一致とエネルギー代謝コスト）に起因することが確認された。
• RLは、明示的なDEが不足する状況においても、生物学的に妥当な関係を効果的に推定でき、精度と解釈可能性の両方を向上させることを示した。
• RLを用いないグリッドサーチベースの最適化では、極端で生物学的に不条件な情報処理分布（例：I(t) = [10,0] または [0,10]）が得られたため、安定で現実的なダイナミクスを実現するにはRLの導入が不可欠であることが示された。