[논문 리뷰] Reinforcement Learning based Disease Progression Model for Alzheimer's Disease

Krishnakant Saboo, Anirudh Choudhary외 4명|arXiv (Cornell University)|2021. 06. 30.

Mental Health Research Topics인용 수 4

한 줄 요약

이 논문은 도메인 지식을 활용해 보상 함수를 정의함으로써 인지 기능을 최적화하면서 대사 비용을 최소화하는 보상 함수를 갖는 강화학습(RL)을 사용하여, 미분방정식(DEs)과 강화학습(RL)을 융합한 새로운 하이브리드 모델을 제안한다. 이 모델은 DEs가 포착하지 못한 생물학적 관계를 RL 에이전트가 추론함으로써 기존 최신 딥러닝 모델보다 더 정확하고 해석 가능한 10년간의 인지 기능 변화 예측을 가능하게 하며, 뇌 기능의 암묵적인 보상 메커니즘을 드러낸다.

ABSTRACT

We model Alzheimer's disease (AD) progression by combining differential equations (DEs) and reinforcement learning (RL) with domain knowledge. DEs provide relationships between some, but not all, factors relevant to AD. We assume that the missing relationships must satisfy general criteria about the working of the brain, for e.g., maximizing cognition while minimizing the cost of supporting cognition. This allows us to extract the missing relationships by using RL to optimize an objective (reward) function that captures the above criteria. We use our model consisting of DEs (as a simulator) and the trained RL agent to predict individualized 10-year AD progression using baseline (year 0) features on synthetic and real data. The model was comparable or better at predicting 10-year cognition trajectories than state-of-the-art learning-based models. Our interpretable model demonstrated, and provided insights into, "recovery/compensatory" processes that mitigate the effect of AD, even though those processes were not explicitly encoded in the model. Our framework combines DEs with RL for modelling AD progression and has broad applicability for understanding other neurological disorders.

연구 동기 및 목표

• 기본 임상 및 뇌 영상 데이터를 기반으로 개인화된 10년간 알츠하이머병 진행 예측 모델을 개발하기 위해.
• AD의 모든 생물학적 관계를 포괄하지 못하는 완전하지 않은 미분방정식(DE) 모델의 한계를 해결하기 위해 강화학습(RL)을 통합하기 위해.
• 특히 인지 기능을 최대화하고 대사 비용을 최소화하는 데 중점을 둔 도메인 지식을 보상 함수에 통합하기 위해.
• AD 진행 동안 뇌 네트워크 보상 기작에 대한 해석 가능한 기계적 통찰을 제공하기 위해.
• 실제 및 합성 데이터에서 기존의 학습 기반 모델보다 장기적인 인지 기능 변화 경로 예측 성능을 뛰어나게 하기 위해.

제안 방법

• 모델은 뇌 구조, 활동 및 인지 기능의 시간에 따른 변화를 시뮬레이션하기 위해 알려진 DEs의 집합을 사용한다.
• 인지 기능, 뇌 영역 크기 및 활동 간의 누락된 관계는 도메인 지식에 기반한 보상 함수를 최적화하는 RL을 통해 추론된다.
• 보상 함수는 인지 성능(목표 인지 기능과 실제 인지 기능 간의 불일치 최소화)과 대사 비용(인지 기능을 위해 필요한 뇌 활동 최소화)을 균형 잡는다.
• RL 에이전트는 각 시간 단계에서 뇌 영역(예: 해마 및 전두엽 피질) 간의 최적의 정보 처리 분포를 선택하여 보상 최대화를 시도한다.
• 이 프레임워크는 DE 기반 시뮬레이터를 사용하며, 10년간의 시간 범위에서 보상 함수 최적화를 위한 RL 에이전트를 훈련시킨다.
• 제어 모델 분석을 통해 관찰된 보상 행동이 모델 아키텍처 자체가 아니라 이중 항 보상 함수에서 유래된 것임을 검증한다.

실험 결과

연구 질문

• RQ1 미분방정식과 강화학습을 융합한 하이브리드 프레임워크는 알츠하이머병에서 개인화된 10년간의 인지 기능 변화 경로를 정확하게 예측할 수 있는가?
• RQ2 인지 성능과 대사 비용을 균형 잡는 보상 함수에서 암묵적인 뇌 기능 보상 메커니즘이 자연스럽게 유도되는가?
• RQ3 RL의 통합이 최신 딥러닝 모델인 minimalRNN과 비교해 예측 정확도를 얼마나 향상시키는가?
• RQ4 인지 불일치와 에너지 비용 간의 상호보완적 관계가 생물학적으로 타당한 회복 과정을 생성하는 데 어떤 역할을 하는가?
• RQ5 모델은 알츠하이머병 진행 동안 뇌 네트워크 적응 과정에 대해 해석 가능한 기계적 통찰을 드러낼 수 있는가?

주요 결과

• 제안된 모델은 실제 ADNI 데이터에서 최신 딥러닝 모델인 minimalRNN에 비해 예측 오차를 약 10% 감소시켰다.
• SVR 및 minimalRNN와 같은 벤치마크 모델에 비해 더 현실적인 10년간의 인지 기능 변화 경로를 생성했다.
• 모델은 명시적으로 모델에 포함되지 않은 암묵적인 '회복/보상' 과정을 드러내었으며, 이는 신경망의 적응적 재조직화를 시사한다.
• 제어 실험을 통해 보상 행동이 모델 아키텍처 자체에서 기인한 것이 아니라 이중 항 보상 함수(인지 불일치 및 에너지 비용)에서 기인한 것임을 확인했다.
• RL은 명시적인 DEs가 제공되지 않는 영역에서 생물학적으로 타당한 관계를 효과적으로 추론할 수 있음을 보여주었으며, 이는 정확도 향상과 함께 해석 가능성 향상에 기여했다.
• RL 없이 그리드 서치 기반 최적화를 수행한 결과 극단적이고 생물학적으로 비현실적인 정보 처리 분포(예: I(t) = [10,0] 또는 [0,10])가 나타났으며, 이는 안정적이고 현실적인 동역학을 확보하기 위해 RL이 필수적임을 강조한다.