[논문 리뷰] Learning Cost-Effective Treatment Regimes using Markov Decision Processes

Himabindu Lakkaraju, Cynthia Rudin|arXiv (Cornell University)|2016. 10. 21.

Advanced Causal Inference Techniques참고 문헌 25인용 수 10

한 줄 요약

이 논문은 비용 효율적이고 해석 가능한 치료 제도를 학습하기 위해 새로운 프레임워크인 CITR를 제안한다. 결정 과정을 마르코프 결정 과정(MDP)으로 모델링하고, 결과 최적화, 평가 비용 절감, 치료 비용 최소화를 균형 잡는 다중 목적 함수를 최적화하기 위해 맞춤형 UCT 알고리즘을 사용한다. 이 방법은 의료 및 사법 분야에서 기존 최고 수준의 기준보다 더 낮은 비용과 향상된 결과를 달성하는 의사결정 목록을 생성한다.

ABSTRACT

Decision makers, such as doctors and judges, make crucial decisions such as recommending treatments to patients, and granting bails to defendants on a daily basis. Such decisions typically involve weighting the potential benefits of taking an action against the costs involved. In this work, we aim to automate this task of learning \emph{cost-effective, interpretable and actionable treatment regimes}. We formulate this as a problem of learning a decision list -- a sequence of if-then-else rules -- which maps characteristics of subjects (eg., diagnostic test results of patients) to treatments. We propose a novel objective to construct a decision list which maximizes outcomes for the population, and minimizes overall costs. We model the problem of learning such a list as a Markov Decision Process (MDP) and employ a variant of the Upper Confidence Bound for Trees (UCT) strategy which leverages customized checks for pruning the search space effectively. Experimental results on real world observational data capturing judicial bail decisions and treatment recommendations for asthma patients demonstrate the effectiveness of our approach.

연구 동기 및 목표

• 기존 방법들이 임상 및 사법 결정에서 치료 결과, 평가 비용, 치료 비용을 동시에 최적화하지 못하는 격차를 해결하기 위해.
• 의사, 판사와 같은 인간 전문가가 채택할 수 있는 의사결정 목록 형태로 표현된 해석 가능하고 실행 가능한 치료 제도를 개발하기 위해.
• 결과, 평가 비용, 치료 비용을 통합한 새로운 目표 함수를 포함하는 마르코프 결정 과정(MDP)으로 치료 제도 학습 문제를 모델링하기 위해.
• 큰 의사결정 목록 공간을 효율적으로 탐색하기 위해 UCT 기반 MDP 솔버 내에 맞춤형 가지치기 전략을 설계하기 위해.
• 천식 치료와 사법 보석 결정에서의 실제 관찰 데이터를 기반으로 프레임워크를 실증적으로 검증하기 위해.

제안 방법

• 프레임워크는 상태가 부분적인 결정 규칙을 나타내고 행동이 조건 추가 또는 치료 부여를 의미하는 마르코프 결정 과정(MDP)으로 치료 제도 학습 문제를 설정한다.
• 기대 결과, 평가 비용, 치료 비용을 동시에 최적화하는 새로운 目표 함수를 제안하며, 이 구성 요소들 간의 트레이드오프를 고려한다.
• 도메인 특화의 가지치기 검사를 통한 개선된 UCT 알고리즘의 변종을 사용하여 MDP를 해결한다.
• 예를 들어, 더 저렴한 대안이 충분한 경우 비용이 많이 드는 검사를 피하는 등, 열악한 의사결정 경로를 조기에 제거하기 위해 맞춤형 가지치기 규칙을 적용한다.
• 환자 또는 피고인의 특성에서 최적의 치료로 이어지는 if-then-else 규칙의 시퀀스인 의사결정 목록을 출력한다.
• 이 방법은 천식 치료와 사법 보석 결정에서의 실제 관찰 데이터셋을 기반으로 훈련 및 평가된다.

실험 결과

연구 질문

• RQ1 임상 및 사법 결정에서 치료 결과, 평가 비용, 치료 비용을 동시에 최적화할 수 있는 통합 프레임워크는 가능한가?
• RQ2 평가 비용과 치료 비용을 통합함으로써 학습된 치료 제도의 복잡성과 해석 가능성은 어떻게 영향을 받는가?
• RQ3 제안된 MDP 기반 방법은 결과 및 비용 효율성 측면에서 기존 기준보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 목표 함수의 개별 구성 요소(결과, 평가 비용, 치료 비용)는 최종 제도 성능에 어떻게 기여하는가?
• RQ5 최종로 도출된 의사결정 목록은 실제 환경에서 인간 의사결정자가 사용할 수 있도록 해석 가능하고 실행 가능한가?

주요 결과

• 천식 데이터셋에서 CITR 프레임워크는 최고의 기준(IPTL)보다 결과 측면에서 12.5% 향상되었고, 평균 치료 비용은 28% 감소시켰다.
• 보석 데이터셋에서 CITR는 다음 최고 기준보다 평균 평가 비용을 35% 감소시켰고, 결과 측면에서 10.2% 향상되었다.
• 제거 실험 결과, 평가 비용 항목을 제거하면 보석 데이터셋에서 평균 평가 비용이 31% 증가했고, 천식 데이터셋에서는 24% 증가하여 이 항목의 핵심적 역할을 확인했다.
• CITR가 학습한 제도는 평균 환자당 진단 검사 수가 2.1회로, 다음 최고 기준의 3.4회보다 훨씬 적어 더 높은 효율성을 보였다.
• 프레임워크는 평균적으로 더 저렴하고 정보성 높은 특징을 의사결정 목록의 초기 단계에 우선 배치하여, 91.77%의 환자에게 비용이 많이 드는 메타클로린 검사를 피할 수 있도록 했다.
• 최종 의사결정 목록은 해석 가능성이 높았으며, 규칙의 60%가 3개 이하의 조건을 포함했고, 임상 및 법적 지침과도 일치했다.