[논문 리뷰] Optimizing Sequential Medical Treatments with Auto-Encoding Heuristic Search in POMDPs

Luchen Li, Matthieu Komorowski외 1명|arXiv (Cornell University)|2019. 05. 17.

Machine Learning in Healthcare참고 문헌 58인용 수 9

한 줄 요약

이 논문은 부분 관측 가능한 마르코프 결정 과정(POMDP)을 사용하여 순차적 패혈증 치료를 최적화하기 위한 자동에코딩 히우리스틱 검색 (AEHS) 프레임워크를 제안한다. 변분 추론과 순환 신뢰도 표현, 히우리스틱 지도형 접미사 트리를 결합한 방법은 샘플 효율성을 향상시키고, 불완전한 데이터가 존재하는 경우조차도 MDP 기반 모델보다 우수한 성능을 보이며, 이는 이론적·실증적으로 뛰어난 성능을 입증한다.

ABSTRACT

Health-related data is noisy and stochastic in implying the true physiological states of patients, limiting information contained in single-moment observations for sequential clinical decision making. We model patient-clinician interactions as partially observable Markov decision processes (POMDPs) and optimize sequential treatment based on belief states inferred from history sequence. To facilitate inference, we build a variational generative model and boost state representation with a recurrent neural network (RNN), incorporating an auxiliary loss from sequence auto-encoding. Meanwhile, we optimize a continuous policy of drug levels with an actor-critic method where policy gradients are obtained from a stablized off-policy estimate of advantage function, with the value of belief state backed up by parallel best-first suffix trees. We exploit our methodology in optimizing dosages of vasopressor and intravenous fluid for sepsis patients using a retrospective intensive care dataset and evaluate the learned policy with off-policy policy evaluation (OPPE). The results demonstrate that modelling as POMDPs yields better performance than MDPs, and that incorporating heuristic search improves sample efficiency.

연구 동기 및 목표

• 소음이 많고, 불완전하며, 시간적으로 일치하지 않는 임상 관측치가 있는 순차적 치료 최적화 과제를 해결하기 위해.
• 실제 임상 환경의 불확실성과 정보 비대칭을 더 잘 반영하기 위해 환자-의사 상호작용을 MDP가 아닌 POMDP로 모델링하기 위해.
• 히우리스틱 검색과 신뢰도 상태 추론을 활용하여 의료 결정의 강화학습에서의 데이터 효율성을 향상시키기 위해.
• 희소 보상과 의사의 경로에서 유래한 오프-폴리시 데이터 상황에서 정책 그래디언트 추정의 편향과 분산을 줄이기 위해.
• 과거 ICU 데이터에서 최적의 혈관 수축제 및 체액 투여 정책을 학습하기 위한 안정적이고 확장 가능한 방법을 개발하기 위해.

제안 방법

• 순차적 몬테 카를로를 통해 잠재 상태를 추론하기 위해 보조적 인식 하한 경계(ELBO) 손실을 사용하는 변분 자동에코더를 사용하여 환자 관측치의 생성 모델을 학습한다.
• 기록 시퀀스를 신뢰도 상태로 압축하기 위해 순환 신경망(RNN)을 활용하여 메모리 효율적인 POMDP 계획을 가능하게 한다.
• 병렬 최선우선 접미사 트리에서의 트리 확장을 지도하기 위해 미리보는 정책 $\hat{\pi}$ 를 적용하여 가치 함수 근사치를 향상시킨다.
• 트리로 추정한 가치를 타겟으로 삼아 벨먼 업데이트를 통해 신뢰도 상태 가치를 역전파하여 가치 함수 정확도를 향상시킨다.
• 클리핑된 중요도 샘플링과 편향 보정 그래디언트 업데이트를 사용하여 오프-폴리시 이점 추정을 수행하는 액터-크리틱 구현체를 적용한다.
• 입자 필터를 사용하여 잠재 상태에 대한 사후 분포를 유지하는 자동에코딩 SMC를 활용하여, 누락된 데이터 상황에서도 강건한 신뢰도 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 소음이 많고 불완전한 임상 관측치 하에서 환자-의사 상호작용을 POMDP로 모델링할 경우 MDP보다 더 나은 치료 정책을 도출할 수 있는가?
• RQ2 최선우선 접미사 트리 기반의 히우리스틱 검색이 자료가 부족한 의료 강화학습에서 샘플 효율성을 향상시킬 수 있는가?
• RQ3 자동에코딩을 통한 생성 모델 통합이 신뢰도 상태 추론 및 정책 성능에 얼마나 기여하는가?
• RQ4 보상 희소성 하에서 제안된 방법이 임상가 행동 정책과 오프-폴리시 평가에서 어떻게 비교되는가?
• RQ5 트리 확장 과정에서의 미리보는 정책 $\hat{\pi}$ 의 사용이 직접 정책 롤아웃에 비해 더 빠르고 안정적인 정책 학습을 이끌 수 있는가?

주요 결과

• 모든 관측 세트에서 POMDP로 모델링하는 것이 MDP보다 일관되게 우수한 성능을 보이며, AEHS는 20명의 환자 변수에서 임상가 기준을 초월하지만, AE+A2C는 35명에서야 이를 달성한다.
• 특히 관측치의 불완전성이 높을 경우 AEHS는 AE+A2C보다 더 뛰어난 성능과 더 빠른 수렴 속도를 보이며, 더 나은 데이터 효율성을 입증한다.
• AEHS의 가중 중요도 샘플링(WIS) 수익의 95% 신뢰구간 하한은 7.030이었고, 임상가 정책의 경험적 수익은 4.867이었으며, 이는 강력한 오프-폴리시 성능을 시사한다.
• 접미사 트리에서 노드 확장 수 $N_s$ 를 늘릴수록 최선우선 선택의 특성상 수익 감소 효과가 나타나, 효율적인 탐색이 가능함을 시사한다.
• 미리보는 정책 $\hat{\pi}$ 는 목표 정책 $\pi$ 보다 더 안정적으로 업데이트되며, 더 나은 가치 타겟을 제공함으로써 $\pi$ 의 학습을 가속화한다.
• 히우리스틱 지도형 트리 확장은 가치 함수 근사 정확도를 향상시켜 더 빠른 수렴과 더 나은 정책 최적화를 이끈다.