[논문 리뷰] Neural Pharmacodynamic State Space Modeling

Zeshan Hussain, Rahul G. Krishnan외 1명|arXiv (Cornell University)|2021. 02. 22.

Machine Learning in Healthcare참고 문헌 56인용 수 4

한 줄 요약

이 논문은 고차원 종단적 임상 데이터를 위한 딥 생성 모델링에 약리동학적 인덕티브 비아스를 통합한 새로운 신경 상태공간 모델 $\mathbf{SSM}\mathit{\text{PK-PD}}$를 제안한다. 환자의 생물학적 마커에 대한 치료 효과에 대한 다수의 기전적 가설을 고려하여 주목을 기울임으로써, 실제 다발성 말초내상 환자 데이터에서 일반화 능력과 예측 정확도를 향상시키며, 기준 모델들을 능가하는 예측 성능을 보이며 질병 진행에 대한 해석 가능한 통찰을 제공한다.

ABSTRACT

Modeling the time-series of high-dimensional, longitudinal data is important for predicting patient disease progression. However, existing neural network based approaches that learn representations of patient state, while very flexible, are susceptible to overfitting. We propose a deep generative model that makes use of a novel attention-based neural architecture inspired by the physics of how treatments affect disease state. The result is a scalable and accurate model of high-dimensional patient biomarkers as they vary over time. Our proposed model yields significant improvements in generalization and, on real-world clinical data, provides interpretable insights into the dynamics of cancer progression.

연구 동기 및 목표

• 고차원 종단적 임상 시계열 데이터의 신경 모델에서 과적합을 해결하기 위해 생물학적으로 정보를 갖춘 인덕티브 비아스를 통합한다.
• 특히 소규모 임상 데이터셋에서 시간에 따라 변화하는 치료 조건 하에서 환자의 생물학적 마커의 복잡한 비선형 역학을 모델링한다.
• 치료-반응 기전을 반영하는 표현을 학습함으로써 질병 진행에 대한 설명 가능한 가상의 사고 실험을 가능하게 한다.
• 약물 조합이 환자 상태에 시간에 따라 미치는 영향을 포괄하는 확장 가능하고 정확한 딥 생성 모델을 개발한다.
• 재현 가능한 질병 진행 모델링 연구를 지원하기 위해 새로운 벤치마크 데이터셋 ML-MMRF와 코드를 공개한다.

제안 방법

• 치료 효과에 대한 다수의 경쟁적 기전 모델을 고려하는 주목 기반 신경 아키텍처 $\\mathbb{PK\mathchar 45\relax PD}_{\text{Neural}}$를 제안한다.
• 치료가 질병 부담에 미치는 영향에 대한 임상 가설에서 유도된 인덕티브 비아스를 통합하며, 치료를 정적 입력으로 간주하지 않는다.
• 학습된 기전 함수를 통해 치료 입력에 기반해 잠재 표현을 진화시키는 상태공간 모델 ($\mathbf{SSM}_{\text{PK-PD}}$)로 모델을 수식화한다.
• 결측치가 있는 종단적 데이터를 학습하기 위해 음의 로그우도에 대한 경계가 있는 변분 추론 프레임워크(NELBO)를 사용한다.
• 신경 로그킬 죽음 및 신경 치료 지수 증가 등 다양한 기전 함수를 활용하여 치료가 생물학적 마커에 미치는 다양한 생물학적 영향을 모델링한다.
• 모델 평가 및 일반화 평가를 위해 음의 로그우도(NLL) 추정을 위해 중요도 샘플링을 적용한다.

실험 결과

연구 질문

• RQ1 약리동학적 인덕티브 비아스를 갖춘 딥 생성 모델이 소규모 고차원 임상 시계열 데이터에서 일반화 능력을 향상시킬 수 있는가?
• RQ2 치료 효과에 대한 다수의 기전적 가설을 주목함으로써 표준 RNN 또는 주목 기반 기준 모델 대비 예측 성능이 어떻게 향상되는가?
• RQ3 이 모델이 다발성 말초내상와 같은 암 진행의 역학에 대해 얼마나 해석 가능한 통찰을 제공할 수 있는가?
• RQ4 치료 신호와 기초 특징의 포함 여부가 IgG, IgA, 람다와 같은 주요 생물학적 마커의 예측 정확도에 어떻게 영향을 미치는가?
• RQ5 모델이 다양한 시간 간격과 조건화 길이에 대해 일반화 가능한가. 특히 초기 데이터가 제한된 상황에서 장기 예측에도 안정적인 성능을 유지하는가?

주요 결과

• $\mathbf{SSM}_{\text{PK-PD}}$ 모델은 기준 모델 대비 일반화 능력에서 뚜렷한 향상을 보이며, ML-MMRF 데이터셋에서 모든 특징을 사용할 경우 보류된 NELBO 점수는 58.12를 기록했고, 선형 기준 모델은 71.11이었다.
• 신경 치료 지수 증가 기법 함수를 추가함으로써 가장 큰 성능 향상을 기록했으며, NELBO 점수를 65.06에서 58.12로 감소시켜 치료 효과의 강력한 모델링을 입증했다.
• 6개월 후 예측에서 PK-PD 모델은 선형 기준 모델 대비 혈清 IgA와 칼슘에 대해 더 낮은 L1 오차를 기록했으며, 특히 IgA에 대해 뚜렷한 성능 향상을 보였다.
• 6개월 데이터를 조건으로 하여도 2년 후까지의 예측 성능을 유지하며 오차가 약간 감소하는 정도에 그쳐 장기 예측에서 뛰어난 일반화 능력을 보였다.
• 6개월 대신 2년의 데이터를 조건으로 하였을 때도 성능이 안정적으로 유지되어 질병 단계에 관계없이 일관된 역학을 포착하고 있음을 시사한다.
• 특징 제거 실험 결과, 치료 신호가 IgA와 람다의 MSE를 크게 감소시키는 반면, 유전체학적 기초 특징 역시 IgG 예측에 의미 있는 기여를 한다.