[논문 리뷰] Learning "What-if" Explanations for Sequential Decision-Making

Ioana Bica, Daniel Jarrett외 2명|arXiv (Cornell University)|2020. 07. 02.

Advanced Causal Inference Techniques참고 문헌 47인용 수 5

한 줄 요약

이 논문은 '만약에' 상황에서의 결과에 대한 선호도를 기반으로 해석 가능한 보상 함수를 학습함으로써 전문가의 순차적 결정을 모델링하는 배치 역강화학습 방법인 반사적 역강화학습(CIRL)을 제안한다. CIRL은 오프라인 IRL에 반사적 추론을 통합하여, 활성 환경 상호작용이 필요 없이도 정확하고 해석 가능하며 감사 가능한 전문가 행동 설명을 가능하게 하며, 특히 의료 분야에서 유의미한 성능을 보인다. 이는 패혈증 치료 데이터셋에서 전문가 행동을 재현하는 데 83.4%의 정확도를 달성하였다.

ABSTRACT

Building interpretable parameterizations of real-world decision-making on the basis of demonstrated behavior -- i.e. trajectories of observations and actions made by an expert maximizing some unknown reward function -- is essential for introspecting and auditing policies in different institutions. In this paper, we propose learning explanations of expert decisions by modeling their reward function in terms of preferences with respect to "what if" outcomes: Given the current history of observations, what would happen if we took a particular action? To learn these cost-benefit tradeoffs associated with the expert's actions, we integrate counterfactual reasoning into batch inverse reinforcement learning. This offers a principled way of defining reward functions and explaining expert behavior, and also satisfies the constraints of real-world decision-making -- where active experimentation is often impossible (e.g. in healthcare). Additionally, by estimating the effects of different actions, counterfactuals readily tackle the off-policy nature of policy evaluation in the batch setting, and can naturally accommodate settings where the expert policies depend on histories of observations rather than just current states. Through illustrative experiments in both real and simulated medical environments, we highlight the effectiveness of our batch, counterfactual inverse reinforcement learning approach in recovering accurate and interpretable descriptions of behavior.

연구 동기 및 목표

• 활성 실험을 수행할 수 없는 실제 환경, 예를 들어 의료 분야에서 전문가의 순차적 의사결정을 해석할 수 있는 방법을 개발하는 것.
• 블랙박스 정책으로서가 아니라, '만약에' 시나리오(즉, 반사적 결과)에 대한 선호도에 기반한 보상 함수로 전문가 행동을 모델링하는 것.
• 표준 배치 역강화학습의 한계, 즉 해석 불가능한 보상 표현과 완전히 관측 가능한 마르코프 상태를 전제로 하는 가정을 해결하는 것.
• 임상 의사결정 과정의 감사 및 분석을 가능하게 하기 위해 임상의의 치료 우선순위를 반영하는 해석 가능한 보상 가중치를 복원하는 것.
• 반사적 결과를 사용하여 전문가 정책 하에서의 특징 기대값을 추정함으로써 배치 환경에서 이전 정 politicy 평가를 지원하는 것.

제안 방법

• CIRL은 보상 함수를 반사적 결과의 가중합으로 정의한다: $ R(h_t, a_t) = w_u \mathbb{E}[U_{t+1}[a_t] \mid h_t] + w_z \mathbb{E}[Z_{t+1}[a_t] \mid h_t] $, 여기서 $ U $ 및 $ Z $ 는 종양 부피와 부작용과 같은 환자 결과를 의미한다.
• 이 방법은 환경 동역학이 알려져 있지 않은 상황에서도 다양한 정책 하에서 행동의 기대 결과를 추정할 수 있도록, 오프라인 역강화학습에 반사적 추론을 통합한다.
• 최대 마진 애자일십프레임워크를 사용하여 관찰 데이터셋에서 전문가가 보여준 행동을 가장 잘 설명하는 보상 가중치 $ w_u $ 및 $ w_z $ 를 학습한다.
• 반사적 결과는 역학적 데이터 기반 모델을 통해 추정되며, 이는 부분적으로 관측된 역사를 다룰 수 있고 비마르코프 동역학을 처리할 수 있도록 한다.
• 이 방법은 시뮬레이션 및 실제 의료 의사결정 과제, 예를 들어 패혈증에서의 항생제 투여에 적용된다.
• CIRL은 반사적 결과를 사용하여 전문가 정책 하에서의 특징 기대값을 추정함으로써 이전 정책 평가를 가능하게 하며, 표준 배치 IRL의 한계를 극복한다.

실험 결과

연구 질문

• RQ1 활성 환경 상호작용이 불가능한 상황에서, 전문가의 순차적 의사결정에 대한 해석 가능한 보상 함수를 어떻게 학습할 수 있는가?
• RQ2 반사적 추론은 실생활 분야, 특히 의료 분야에서 배치 역강화학습의 해석 가능성과 정확도를 얼마나 향상시킬 수 있는가?
• RQ3 '만약에' 결과에 기반한 보상 함수는 종양 부피 감소를 부작용 최소화보다 우선시하는 등 임상적으로 의미 있는 선호도를 드러낼 수 있는가?
• RQ4 기존의 배치 IRL 방법과 비교해 CIRL은 전문가 행동을 얼마나 잘 복원하고 의사결정 패턴을 설명하는가?
• RQ5 복원된 보상 가중치는 체온과 백혈구 수치(WBC)가 패혈증 관리에서 중요한 요소라는 것과 같이 알려진 임상 지침과 치료 우선순위를 반영할 수 있는가?

주요 결과

• CIRL은 패혈증 치료 데이터셋에서 전문가 행동을 재현하는 데 83.4%의 정확도를 달성하였으며, MB(h)-IRL(77.5%) 및 DSFN(h)(75.3%)과 같은 벤치마크를 능가하였다.
• 이 방법은 임상의가 패혈증에서 열을 낮추고 WBC 수치를 정상화하는 것을 우선시한다는 보상 가중치를 성공적으로 복원하였으며, 이는 기존 의료 지침과 일치하였다.
• CIRL은 종양 감소에 대한 가중치의 크기($ |w_u| $)가 부작용 최소화에 대한 가중치의 크기($ |w_z| $)를 초과할 경우 전문가가 더 적극적으로 대응한다는 것을 보여주었다. 이는 임상적 우선순위를 반영한다.
• 반사적 기반 보상 함수는 정책 행동의 해석 가능한 설명을 가능하게 하였으며, 임상의가 항생제 투여 결정에서 체온과 WBC와 같은 결과를 다른 특징보다 더 중시한다는 점을 드러냈다.
• 이 방법은 전체 역사를 기반으로 행동을 모델링함으로써 비마르코프 동역학을 효과적으로 처리하였으며, 완전히 관측 가능한 상태를 전제로 하는 가정을 피했다.
• CIRL은 높은 정확도를 유지하면서도 해석 가능하고 감사 가능한 설명을 제공함으로써, 설명 가능성과 예측 성능 간의 상충관계가 없음을 입증하였다.