[논문 리뷰] Evaluating Reinforcement Learning Algorithms in Observational Health Settings

Omer Gottesman, Fredrik Johansson외 18명|arXiv (Cornell University)|2018. 05. 31.

Machine Learning in Healthcare참고 문헌 13인용 수 86

한 줄 요약

이 논문은 관찰 건강 데이터를 사용한 강화 학습 정책 평가의 도전과제를 분석하며, 패턴 혼란(confounding), 표현(representation), 오프-정책 평가(off-policy evaluation) 이슈를 패혈증 관리에서 강조하고, 모범 사례 권고를 제시한다.

ABSTRACT

Much attention has been devoted recently to the development of machine learning algorithms with the goal of improving treatment policies in healthcare. Reinforcement learning (RL) is a sub-field within machine learning that is concerned with learning how to make sequences of decisions so as to optimize long-term effects. Already, RL algorithms have been proposed to identify decision-making strategies for mechanical ventilation, sepsis management and treatment of schizophrenia. However, before implementing treatment policies learned by black-box algorithms in high-stakes clinical decision problems, special care must be taken in the evaluation of these policies. In this document, our goal is to expose some of the subtleties associated with evaluating RL algorithms in healthcare. We aim to provide a conceptual starting point for clinical and computational researchers to ask the right questions when designing and evaluating algorithms for new ways of treating patients. In the following, we describe how choices about how to summarize a history, variance of statistical estimators, and confounders in more ad-hoc measures can result in unreliable, even misleading estimates of the quality of a treatment policy. We also provide suggestions for mitigating these effects---for while there is much promise for mining observational health data to uncover better treatment policies, evaluation must be performed thoughtfully.

연구 동기 및 목표

• 의료 분야에서 RL 정책의 신중한 평가를 촉진한다, 특히 환자 생명이 실험이 아닌 관찰 설정에서의 평가를 강조한다.
• 역사 표현과 혼란(confounding)이 정책 추정에 미치는 영향을 설명한다.
• 의료 RL에서 오프-정책 평가 방법의 한계와 임시 지표를 논의한다.
• 정책 평가의 편향과 분산을 완화하기 위한 실용적 권고를 제공한다.

제안 방법

• MIMIC III 데이터에서 상태(state), 행동(action), 보상(reward) 정의로 패혈증 관리 문제를 RL 문제로 Formalize 한다.
• 상태 표현 선택이 혼란 및 정책 품질에 미치는 영향을 보인다.
• 회고 데이터에 대해 오프-정책 평가 방법(중요도 샘플링: PDIS, WPDIS, DR, WDR)을 적용한다.
• 모델 기반 가치 추정치와 IS 기반 값을 비교하여 정책 성능을 평가한다.
• 결정론적 대 확률적 정책이 평가 편향 및 분산에 미치는 영향을 분석한다.
• 중요도 가중치의 분포와 유효 표본 크기에 대한 진단을 제공한다.

실험 결과

연구 질문

• RQ1 환자 이력에 대한 표현 선택이 혼란과 학습된 정책의 신뢰성에 어떤 영향을 미치는가?
• RQ2 패혈증 관리에서의 연속적 의료 의사결정에 대한 오프-정책 평가 방법의 한계는 무엇인가?
• RQ3 관찰 데이터에서 결정론적 행동 정책이 IS 추정기의 분산 및 편향에 어떤 영향을 미치는가?
• RQ4 회고적 건강 데이터로 RL 정책을 평가할 때 편향을 완화하는 모범 사례는 무엇인가?

주요 결과

• 결정론적 정책은 희박한 결과와 매칭 트레이jectory의 부족으로 인해 IS 추정치의 분산이 크게 증가하는 경향이 있다.
• 모델 기반 가치 추정은 편향되지만 이 설정에서 IS 추정치보다 분산이 낮다.
• 가중 IS(WDR, WPDIS)는 분산을 줄이지만 편향을 유발한다; 비가중 IS는 극심한 분산을 보인다.
• 학습된 정책을 평가하는 유효 표본 크기가 매우 작을 수 있어 신뢰성에 의문을 제기한다.
• 임시 U-커브 분석은 혼란 및 행동 구획의 왜곡으로 오도할 수 있으며 해석 가능성과 임상의 입력이 필수적이다.
• 의사 실무에 더 가까운 정책을 평가할수록 평가 가능성 및 결론의 신뢰성이 증가한다.