[논문 리뷰] POPCORN: Partially Observed Prediction COnstrained ReiNforcement Learning

Joseph Futoma, Michael C. Hughes외 1명|arXiv (Cornell University)|2020. 01. 13.

Machine Learning in Healthcare참고 문헌 36인용 수 7

한 줄 요약

POPCORN은 부분 관측 마르코프 결정 과정(POMDP)에 대한 새로운 최적화 목표를 제안하며, 배치 및 오프-폴리시 의료 환경에서 정책 성능과 생성 모델 품질을 동시에 향상시킨다. 최대우도 학습을 가치 기반 정규화 항으로 제약함으로써, 모델 잘못 설정이 있을 경우조차도 두 단계 또는 가치 중심 기반 기준보다 더 나은 정책과 더 임상적으로 해석 가능한 모델을 달성한다.

ABSTRACT

Many medical decision-making tasks can be framed as partially observed Markov decision processes (POMDPs). However, prevailing two-stage approaches that first learn a POMDP and then solve it often fail because the model that best fits the data may not be well suited for planning. We introduce a new optimization objective that (a) produces both high-performing policies and high-quality generative models, even when some observations are irrelevant for planning, and (b) does so in batch off-policy settings that are typical in healthcare, when only retrospective data is available. We demonstrate our approach on synthetic examples and a challenging medical decision-making problem.

연구 동기 및 목표

• 두 단계 강화학습 접근법의 한계를 해결하기 위해, 모델 피팅과 계획이 분리되어 있어 모델가 잘못 설정되었을 경우 최적의 정책을 도출하지 못하는 문제를 해결한다.
• 의료 데이터에서 흔한 배치 및 오프-폴리시 설정에서 높은 우도의 생성 모델링과 높은 성능의 정책을 균형 잡는 의사결정 인식 학습 목표를 개발한다.
• 이산적이고 구조화된 POMDP를 사용하여 샘플 효율성과 모델의 해석 가능성을 향상시키며, 검사 가능한 발화 및 전이 분포를 제공한다.
• 정확한 궤적 생성 능력과 계획에 효과적인 모델을 제공함으로써 전이 학습과 임상 검증을 가능하게 한다.
• 가치 중심 또는 우도 중심 학습의 실패 모드를 극복하기 위해, 모델이 데이터에 잘 맞지 않거나 효과적인 의사결정 지원을 하지 못하는 문제를 해결한다.

제안 방법

• POPCORN은 관측의 최대우도와 POMDP 모델이 유도하는 정책의 가치 기반 정규화 항을 조합한 하이브리드 목표를 최적화한다.
• 은닉 마르코프 모델(HMM)을 사용하여 관측되지 않은 생리적 상태를 표현하며, 관측값은 상태와 행동에 조건화된 가우시안 혼합 모델로 모델링한다.
• 하이퍼파rameter λ는 우도(모델 적합도)와 정책 가치(계획 성능) 사이의 트레이드오���을 제어하며, λ는 두 목표를 균형 있게 유지하도록 튜닝된다.
• 온라인 상호작용 없이도 과거 임상 데이터를 사용하여 배치 및 오프-폴리시 설정에서 최적화가 수행된다.
• 학습된 발화 분포의 시각화를 통해 모델 검토가 가능하여 임상적으로 타당한지 평가할 수 있다.
• 학습 후 모델은 값 반복을 통해 정책 계획에 사용되며, 새로운 보상 함수로 재해결하여 전이 가능성 검증이 가능하다.

실험 결과

연구 질문

• RQ1 단일 최적화 목표가 부분 관측 및 배치 강화학습 설정에서 생성 모델 품질과 후속 정책 성능를 동시에 향상시킬 수 있는가?
• RQ2 모델 잘못 설정 상황에서 POPCORN은 두 단계 및 가치 중심 기준 대비 정책 가치, 모델 우도, 예측 정확도 측면에서 어떻게 성능을 내는가?
• RQ3 POPCORN의 모델은 임상적으로 타당한지 검토할 수 있는 정도는 어느 정도이며, 학습된 발화 분포는 기준 모델과 비교해 어떻게 다른가?
• RQ4 보상 함수가 변경되었을 때 POPCORN은 다른 방법에 비해 더 나은 전이 성능를 보이는가?
• RQ5 실제로 ICU 의사결정 과제에서 회귀 데이터만을 사용함에도 불구하고 POPCORN은 행동 정책을 능가할 수 있는가?

주요 결과

• POPCORN은 시뮬레이션된 ICU 저혈압 관리 과제에서 관찰된 임상의사 행동 정책과 유사하거나 略로 뛰어난 정책 가치를 달성했다.
• 두 단계 기준은 높은 우도를 달성했음에도 불구하고, 관련 없는 정보를 모델링하여 정책 가치가 열등했다.
• 가치 중심 기준은 MAP 및 소변 배출량과 같은 주요 임상 변수에 대해 평균 절대 오차가 POPCORN 및 두 단계 방법보다 수 개의 지수 차수만큼 열등한 매우 정확도가 낮은 예측을 생성했다.
• POPCORN의 발화 분포는 두 단계 기준보다 더 넓고 잠재 상태 간에 더 명확하게 분리되어 있어 정책의 모호성을 감소시켰다.
• 가치 중심 기준은 높은 다양성을 가진 상태를 학습했지만, 데이터 적합도는 열악하여 정책 품질과 모델 정확도 사이의 트레이드오프를 보여주었다.
• POPCORN 모델은 수정된 보상 함수를 가진 새로운 과제에 대해 합리적으로 전이되었으며, 원래 가치 추정이 강한 가치 중심 기준에 비해 전이 성능에서 뛰어났다.