[논문 리뷰] Interpretable Off-Policy Evaluation in Reinforcement Learning by Highlighting Influential Transitions

Omer Gottesman, Joseph Futoma외 5명|arXiv (Cornell University)|2020. 02. 10.

Machine Learning in Healthcare참고 문헌 24인용 수 12

한 줄 요약

이 논문은 정확한 영향 함수를 사용하여 관찰 데이터에서 영향력이 가장 큰 전이(transitions)를 식별하고 강조하여 강화학습에서 이방법 평가(off-policy evaluation, OPE)에 대한 신뢰를 향상시키는 방법을 제안한다. 도메인 전문가가 이러한 고영향력 전이를 검증할 수 있도록 하여, 데이터 노이즈와 교란 요인이 흔한 의료 분야에서 OPE 추정의 강건성과 해석 가능성 향상에 기여한다.

ABSTRACT

Off-policy evaluation in reinforcement learning offers the chance of using observational data to improve future outcomes in domains such as healthcare and education, but safe deployment in high stakes settings requires ways of assessing its validity. Traditional measures such as confidence intervals may be insufficient due to noise, limited data and confounding. In this paper we develop a method that could serve as a hybrid human-AI system, to enable human experts to analyze the validity of policy evaluation estimates. This is accomplished by highlighting observations in the data whose removal will have a large effect on the OPE estimate, and formulating a set of rules for choosing which ones to present to domain experts for validation. We develop methods to compute exactly the influence functions for fitted Q-evaluation with two different function classes: kernel-based and linear least squares, as well as importance sampling methods. Experiments on medical simulations and real-world intensive care unit data demonstrate that our method can be used to identify limitations in the evaluation process and make evaluation more robust.

연구 동기 및 목표

• 데이터 노이즈와 교란 요인이 흔한 고위험 분야인 의료 분야에서 OPE에 대한 해석 가능성과 신뢰성의 부족을 해결한다.
• 검증할 수 없는 가정에 의존하고 과도하게 보수적인 오차 구간을 산출하는 전통적 OPE 방법의 한계를 극복한다.
• 특정 전이를 제거했을 때 OPE 추정치에 큰 영향을 미치는 데이터 전이를 식별함으로써 도메인 전문가 지식을 OPE 파이프라인에 통합한다.
• 전문가가 영향력이 큰 전이를 검증함으로써 추정 신뢰도를 향상시키는 실용적 인간-AI 협업 프레임워크를 개발한다.
• 실제 의료 결정 부문, 예를 들어 급성 저혈압 관리의 인터넷 치료 단위(ICU)에서의 적용 사례를 통해 방법의 유용성을 입증한다.

제안 방법

• 적합된 Q-평가(FQE)의 두 함수 클래스인 커널 기반 및 선형 최소 제곱법에 대해 정확한 영향 함수를 계산한다.
• 이방법 평가를 위한 중요도 샘플링(IS) 추정기로의 영향 함수 계산을 확장한다.
• OPE 추정치에 가장 큰 변화를 일으키는 전이—즉, 영향력이 가장 큰 전이—를 선별하고 도메인 전문가에게 제시하기 위한 규칙 세트를 제안한다.
• 영향 분석을 통해 임상 데이터셋에서 측정 오차나 시간적 비일치와 같은 데이터 품질 문제를 탐지한다.
• 전문가 피드백을 통합하여 문제 있는 전이를 수정하거나 제거함으로써 OPE 추정치를 반복적으로 개선한다.
• 합성 시뮬레이션과 실제 ICU 데이터에 이 방법을 적용하여, 데이터 일관성 문제를 식별하고 해결하는 데서의 효과성을 검증한다.

실험 결과

연구 질문

• RQ1 이방법 평가를 위한 배치 관찰 데이터에서 가장 영향력 있는 전이를 식별하는 데 영향 함수를 어떻게 활용할 수 있는가?
• RQ2 OPE에서 영향 분석을 통해 탐지할 수 있는 데이터 품질 문제의 유형—예를 들어 측정 오차나 시간적 비일치—는 무엇인가?
• RQ3 영향 함수를 통해 식별된 고영향력 전이를 전문가가 검증함으로써 OPE 추정치의 신뢰도를 향상시킬 수 있는가?
• RQ4 영향 기반 진단 방법은 OPE 추정치의 타당성을 평가하는 데 있어 전통적 신뢰구간과 어떻게 비교되는가?
• RQ5 영향 분석은 실제 의료 응용 분야에서 OPE의 해석 가능성과 강건성을 어느 정도 향상시킬 수 있는가?

주요 결과

• 실제 ICU 데이터셋에서 급성 저혈압 관리에 대해 영향 분석이 여섯 개의 영향력 있는 전이를 탐지했으며, 이를 실질적인 집중치료의사가 검증하였다.
• MAP(평균 동맥압) 값이 하나뿐인 비정상적인 측정값을 가진 한 전이가 측정 오류일 가능성이 확인되었고, 수정함으로써 영향력이 0으로 감소하였다.
• 다른 전이에서는 타임스탬프 오류로 인해 치료 지연이 발생했으며, 시간 오류를 수정함으로써 OPE 추정치에 미치는 고영향력이 제거되었다.
• 영향 분석을 통해 식별된 데이터 문제를 수정한 후, OPE 추정치는 더 이상 개별 이상치에 민감하지 않게 되었고, 더 강건해졌다.
• 이 방법은 일반 통계치에 의해 가려졌던 임상적으로 비합리적인 데이터 패atters를 임상의가 탐지할 수 있도록 하여 데이터 품질 향상과 추정 신뢰도 향상에 기여했다.
• 프레임워크는 실제 임상 현장에서 실용적인 유용성을 입증하였으며, 영향 분석이 OPE에서 데이터 품질과 모델 신뢰도 진단 도구로 기능할 수 있음을 보여주었다.