[논문 리뷰] Counterfactually Guided Policy Transfer in Clinical Settings

Taylor W. Killian, Marzyeh Ghassemi외 1명|arXiv (Cornell University)|2020. 06. 20.

Machine Learning in Healthcare참고 문헌 70인용 수 6

한 줄 요약

이 논문은 도메인 이탈과 데이터 부족 상황에서 임상 환경에서의 오프-폴리시 강화 학습을 위한 반사적 정규화 방법을 제안한다. 데이터가 풍부한 소스 도메인을 활용해 정보적인 반사적 샘플을 생성하고, 소스 정책과의 KL 발산을 통해 타겟 정책를 정규화함으로써, 시뮬레이션된 패혈증 상황에서 치료 정책 이행 성능이 크게 향상된다.

ABSTRACT

Reliably transferring treatment policies learned in one clinical environment to another is currently limited by challenges related to domain shift. In this paper we address off-policy learning for sequential decision making under domain shift -- a scenario susceptible to catastrophic overconfidence -- which is highly relevant to a high-stakes clinical settings where the target domain may also be data-scarce. We propose a two-fold counterfactual regularization procedure to improve off-policy learning, addressing domain shift and data scarcity. First, we utilize an informative prior derived from a data-rich source environment to indirectly improve drawing counterfactual example observations. Then, these samples are then used to learn a policy for the target domain, regularized by the source policy through KL-divergence. In simulated sepsis treatment, our counterfactual policy transfer procedure significantly improves the performance of a learned treatment policy.

연구 동기 및 목표

• 데이터가 풍부한 임상 환경에서의 치료 정책을 도메인 이탈이 존재하고 데이터가 부족한 타겟 도메인으로 이행하는 문제를 해결하기 위해.
• 고위험 임상 조건에서 오프-폴리시 학습 시 치명적인 과신을 완화하기 위해.
• 반사적 추론과 소스 도메인 사전 지식을 활용하여 타겟 도메인에서의 정책 일반화를 향상시키기 위해.
• 반사적 샘플링과 소스 정책로부터의 KL 발산 정규화를 결합한 정규화 프레임워크를 개발하기 위해.

제안 방법

• 타겟 도메인을 위한 정보적인 반사적 예시를 생성하기 위해 데이터가 풍부한 소스 환경을 활용한다.
• 소스 정책의 트레이젝터리에서 행동을 변형시켜 반사적 관측치를 구성하면서도 결과 일관성을 유지한다.
• 이러한 반사적 샘플을 사용하여 타겟 정책를 훈련시켜 강건성과 일반화 능력을 향상시킨다.
• 소스 정책과의 KL 발산을 통해 타겟 정책를 정규화하여 유익한 행동 패턴을 유지한다.
• 임상 치료 정책를 위한 순차적 의사결정 프레임워크에 이 방법을 적용한다.
• 이론적 이행 성능 평가를 위해 시뮬레이션된 패혈증 치료 환경에서 접근법을 평가한다.

실험 결과

연구 질문

• RQ1 반사적 정규화는 도메인 이탈과 데이터 부족 조건이 존재하는 임상 환경에서 오프-폴리시 학습을 향상시킬 수 있는가?
• RQ2 데이터가 풍부한 소스 도메인을 활용해 반사적 예시를 생성함으로써 데이터가 부족한 타겟 도메인으로 정책 이행이 어떻게 향상되는가?
• RQ3 소스 정책과의 KL 발산 정규화가 타겟 정책에서 치명적인 과신을 어느 정도 억제하는가?
• RQ4 제안된 방법은 시뮬레이션된 임상 치료 시나리오에서 표준 오프-폴리시 학습 베이스라인을 초월하는가?

주요 결과

• 반사적 정책 이행 절차는 시뮬레이션된 패혈증 환경에서 학습된 치료 정책의 성능을 크게 향상시킨다.
• 데이터가 풍부한 소스 도메인에서 유도된 반사적 예시의 사용은 타겟 도메인에서의 정책 일반화를 향상시킨다.
• 소스 정책과의 KL 발산 정규화는 과신을 효과적으로 감소시키고 오프-폴리시 학습의 안정성을 향상시킨다.
• 이 방법은 실제 임상 적용에서의 주요 과제인 도메인 이탈과 데이터 부족 조건에서도 강건함을 보였다.