[논문 리뷰] An Empirical Study of Representation Learning for Reinforcement Learning in Healthcare

Taylor W. Killian, Haoran Zhang외 3명|arXiv (Cornell University)|2020. 11. 23.

Machine Learning in Healthcare참고 문헌 45인용 수 12

한 줄 요약

이 논문은 MIMIC-III 데이터셋의 순차적 환자 데이터를 사용하여 보건 분야에서 강화학습을 위한 표현 학습을 조사한다. 오프라인, 배치 강화학습 환경에서 정책 학습을 향상시키기 위해 환자 상태 표현을 학습하기 위해 일곱 가지 인코딩 아키텍처를 평가하며, 순차적으로 구조화된 표현—특히 Neural CDE에서 유도된 표현—이 임상 적응도 점수와의 상관관계를 유지하면서 더 효과적인 치료 정책 학습을 가능하게 한다.

ABSTRACT

Reinforcement Learning (RL) has recently been applied to sequential estimation and prediction problems identifying and developing hypothetical treatment strategies for septic patients, with a particular focus on offline learning with observational data. In practice, successful RL relies on informative latent states derived from sequential observations to develop optimal treatment strategies. To date, how best to construct such states in a healthcare setting is an open question. In this paper, we perform an empirical study of several information encoding architectures using data from septic patients in the MIMIC-III dataset to form representations of a patient state. We evaluate the impact of representation dimension, correlations with established acuity scores, and the treatment policies derived from them. We find that sequentially formed state representations facilitate effective policy learning in batch settings, validating a more thoughtful approach to representation learning that remains faithful to the sequential and partial nature of healthcare data.

연구 동기 및 목표

• 오프라인 강화학습을 통한 패혈증 치료에 있어 다양한 표현 학습 아키텍처가 정책 학습에 미치는 영향을 조사하는 것.
• 표현 차원의 영향이 예측 정확도와 정책 성능에 미치는 영향을 평가하는 것.
• 인구통계학적 특징과 임상 적응도 점수(SOFA, SAPS II, OASIS)를 통합함으로써 표현 품질과 후속 정책 학습이 향상되는지 평가하는 것.
• 순차적으로 학습된 표현이 정적 또는 비순차적 인코딩보다 환자 상태 동역학을 더 잘 포착하는지 평가하는 것.
• 배치 데이터를 사용한 실제 보건 강화학습 환경에서 상태 표현의 철저한 실증 평가를 제공하는 것.

제안 방법

• 순차적 생리학적 및 인구통계학적 특징에서 저차원 환자 상태 표현을 학습하기 위해 일곱 가지 정보 인코딩 아키텍처(AE, AIS, CDE, DDM, DST, ODE-RNN, RNN-AE)를 훈련한다.
• 표현 품질을 최적화하기 위해 과거 관측치로부터 향후 생리학적 관측치(SO)를 재구성하는 보조 과제로 자동에코딩을 사용한다.
• 다중 작업 손실 목표를 통해 기존의 임상 적응도 점수(SOFA, SAPS II, OASIS)와의 상관관계를 유지하도록 표현을 정규화한다.
• 하이퍼파rameter는 각 방법에 맞게 조정된 dBCQ(이산화된 배치 제약 Q-학습)를 사용하여 표현된 상태 표현에서 치료 정책을 훈련한다.
• 보류된 테스트 세트에서 가중 중요도 샘플링(WIS)을 사용하여 정책 성능을 평가하고, 다양한 표현 방법 간의 수익률을 비교한다.
• PCA를 통해 표현을 시각화하며, SOFA 점수와 결과(생존 대 사망)에 따라 궤적을 색칠하고, 초기 및 최종 관측치를 연결하여 환자 진화를 추적한다.

실험 결과

연구 질문

• RQ1 표현의 잠재 차원이 향후 생리학적 관측치 재구성 정확도와 후속 강화학습 정책 성능에 어떤 영향을 미치는가?
• RQ2 표현 학습 과정에 인구통계학적 특징을 포함시키면 환자 상태 표현의 품질이 얼마나 향상되는가?
• RQ3 학습된 표현이 기존의 임상 적응도 점수(SOFA, SAPS II, OASIS)와 얼마나 잘 상관되는가?
• RQ4 어느 표현 학습 아키텍처가 패혈증 치료를 위한 배치 강화학습 환경에서 가장 효과적인 정책 학습을 가능하게 하는가?
• RQ5 순차적으로 구조화된 표현이 비순차적 또는 자동에코딩 기반 베이스라인보다 환자 궤적 동역학을 더 잘 포착하는가?

주요 결과

• 잠재 차원을 일정 수준 이상으로 늘일 경우 자동에코딩 과제에서 예측 정확도가 감소함을 확인하여, 높은 능력의 표현이 항상 더 정보가 많다는 것은 아님을 시사한다.
• 모든 아키텍처에서 표현 학습 과정에 인구통계학적 특징을 통합함으로써 향후 생리학적 관측치 예측 성능이 일관되게 향상됨을 확인하였다.
• Neural CDE(신경 제어 미분방정식)를 통해 학습된 표현이 다른 아키텍처보다 WIS 기반 평가에서 가장 효과적인 치료 정책 학습을 가능하게 하였다.
• 임상 적응도 점수를 정규화 목표로 포함시킴으로써 학습된 표현과 SOFA, SAPS II, OASIS 점수 간의 상관관계가 크게 향상됨을 확인하였다.
• PCA 시각화 결과, Neural CDE와 DDM에서 학습된 표현이 생존과 사망에 따라 더 명확하게 분리되었으며, 원시 데이터나 단순 모델 대비 SOFA 점수에 따라 더 명확한 군집화를 보였다.
• 순차적 아키텍처(예: CDE, ODE-RNN)를 통해 학습된 표현은 표현 공간에서 더 나은 분리성과 궤적 연속성을 보였으며, 비순차적 방법보다 환자 건강 상태의 진화를 더 충실하게 반영함을 확인하였다.