[논문 리뷰] Batch Inverse Reinforcement Learning Using Counterfactuals for Understanding Decision Making.

Ioana Bica, Daniel Jarrett외 2명|arXiv (Cornell University)|2020. 07. 02.

Health Systems, Economic Evaluations, Quality of Life참고 문헌 37인용 수 2

한 줄 요약

이 논문은 시뮬레이션된 전문가의 결정 경로에서 의사결정 과정을 해석하기 위해 사후적 추론을 통합한 배치 역강화학습 방법을 제안한다. 각 결정 지점에서 '만약에' 질문에 답함으로써, 이는 해석 가능한 보상 함수를 학습하고 활성 상호작용 없이 이정책 평가를 가능하게 하며, 의료 결정 환경에서 뛰어난 성능을 보여준다.

ABSTRACT

A key challenge in modeling real-world decision-making is the fact that active experimentation is often impossible (e.g. in healthcare). The goal of batch inverse reinforcement learning is to recover and understand policies on the basis of demonstrated behaviour--i.e. trajectories of observations and actions made by an expert maximizing some unknown reward function. We propose incorporating counterfactual reasoning into modeling decision behaviours in this setting. At each decision point, counterfactuals answer the question: Given the current history of observations, what would happen if we took a particular action? First, this offers a principled approach to learning inherently interpretable reward functions, which enables understanding the cost-benefit tradeoffs associated with an expert's actions. Second, by estimating the effects of different actions, counterfactuals readily tackle the off-policy nature of policy evaluation in the batch setting. Not only does this alleviate the cold-start problem typical of conventional solutions, but also accommodates settings where the expert policies are depending on histories of observations rather than just current states. Through experiments in both real and simulated medical environments, we illustrate the effectiveness of our batch, counterfactual inverse reinforcement learning approach in recovering accurate and interpretable descriptions of expert behaviour.

연구 동기 및 목표

• 의료와 같은 곳에서 활성 실험이 불가능한 상황에서 전문가 정책을 이해하는 데 도전하는 것.
• 온라인 상호작용 없이 정적 전문가 경로 데이터셋에서 의사결정 과정을 모델링하는 것.
• 사후적 추론을 통합함으로써 회복된 보상 함수의 해석 가능성 향상.
• 행동 간섭의 영향을 모델링함으로써 배치 IRL에서의 이정책 평가 문제를 해결하는 것.
• 현재 상태뿐 아니라 관찰 역사에 의존하는 정책을 지원하는 것.

제안 방법

• 각 결정 지점에서의 가상 행동을 평가하기 위해 사후적 추론을 배치 역강화학습에 통합하는 것.
• 현재 관찰 역사에 기반하여 대체 행동의 결과를 사후적으로 추정하는 것.
• 행동 간섭의 영향을 모델링함으로써 비용-편익 트레이드오프를 반영하는 보상 함수를 학습하는 것.
• 관찰된 경로에서 행동 변경을 시뮬레이션함으로써 구조적인 이정책 평가 접근법을 활용하는 것.
• 현재 상태뿐 아니라 전체 관찰 역사에 의존하는 전문가 정책을 모델링하는 것.
• 경로 데이터와 사후적 시뮬레이션을 결합하여 해석 가능하고 정확한 보상 함수를 유추하는 것.

실험 결과

연구 질문

• RQ1 사후적 추론은 배치 역강화학습에서 보상 함수의 해석 가능성에 어떻게 기여하는가?
• RQ2 사후적 추론은 정적 전문가 시연 데이터에서의 이정책 평가 문제를 효과적으로 해결할 수 있는가?
• RQ3 행동이 관찰 역사에 의존할 경우, 이 방법은 얼마나 잘 전문가 의사결정 정책을 복원할 수 있는가?
• RQ4 사후적 모델링은 전문가 행동의 비용-편익 트레이드오프 이해에 얼마나 기여하는가?
• RQ5 이 접근법은 의료와 같은 실제 복잡한 도메인으로 일반화되는가?

주요 결과

• 이 방법은 전문가 결정의 의미 있는 비용-편익 트레이드오프를 반영하는 해석 가능한 보상 함수를 성공적으로 복원한다.
• 사후적 추론을 통해 온라인 상호작용이나 탐색 없이도 정확한 이정책 평가가 가능해진다.
• 이 방법은 현재 상태뿐 아니라 관찰 역사에 의존하는 정책을 효과적으로 모델링한다.
• 시뮬레이션 및 실제 의료 환경에서의 실험 결과, 전문가 행동 모델링 정확도가 향상됨을 보였다.
• 사후적 요소의 통합으로 기존의 배치 IRL 방법에서 흔히 발생하는 콜드스타트 문제를 감소시켰다.
• 전문가 행동이 복잡하고 역사에 의존하는 환경에서도 모델이 뛰어난 성능을 보였다.