[논문 리뷰] Off-policy Evaluation in Infinite-Horizon Reinforcement Learning with Latent Confounders

Andrew Bennett, Nathan Kallus외 2명|arXiv (Cornell University)|2020. 07. 27.

Reinforcement Learning in Robotics참고 문헌 43인용 수 8

한 줄 요약

이 논문은 관측되지 않은 혼란 인자 하에서 무한 수명 강화 학습에 대한 새로운 비정책 평가 방법을 제안한다. 상태와 행동을 혼란 인자의 대체 측정값으로 사용하여 정책 가치를 식별한다. 정적 분포 비율 추정과 최적 균형 조정을 결합하여 보상 함수 모델링 없이도 일致된 정책 가치 추정을 가능하게 하며, 이론적 보장과 혼란이 있는 환경에서 뛰어난 경험적 성능을 보인다.

ABSTRACT

Off-policy evaluation (OPE) in reinforcement learning is an important problem in settings where experimentation is limited, such as education and healthcare. But, in these very same settings, observed actions are often confounded by unobserved variables making OPE even more difficult. We study an OPE problem in an infinite-horizon, ergodic Markov decision process with unobserved confounders, where states and actions can act as proxies for the unobserved confounders. We show how, given only a latent variable model for states and actions, policy value can be identified from off-policy data. Our method involves two stages. In the first, we show how to use proxies to estimate stationary distribution ratios, extending recent work on breaking the curse of horizon to the confounded setting. In the second, we show optimal balancing can be combined with such learned ratios to obtain policy value while avoiding direct modeling of reward functions. We establish theoretical guarantees of consistency, and benchmark our method empirically.

연구 동기 및 목표

• 관측되지 않은 혼란 인자가 존재하는 무한 수명 MDP에서 기존의 OPE 방법이 편향을 받는 문제를 해결하기 위해.
• 혼란 인자가 관측되지 않지만 상태와 행동이 혼란 인자의 대체 측정값으로 작용할 때 오프-정책 데이터로부터 정책 가치를 식별하기 위해.
• 보상 함수 모델링을 직접 하지 않으면서도 독립적이고 동일하게 분포된(confounder) 가정 하에서 통계적 일致성을 보장하는 방법을 개발하기 위해.
• 모델 잘못 설정과 혼란 인자 사후 분포 노이즈 상황에서 인과적 및 비인과적 기준과의 경험적 비교를 통해 방법의 유효성을 검증하기 위해.

제안 방법

• 관측되지 않은 혼란 인자가 존재하는 상황에서 상태-행동을 대체 측정값으로 사용하여 정적 분포 비율을 추정한다.
• 조건부 모멘트 매칭 문제를 해결하여 무한 수명 OPE 기법을 혼란이 있는 설정으로 확장한다.
• 학습된 정적 비율을 사용하여 최적 균형 조정 추정기를 적용하여 정책 가치 추정을 수행한다.
• 정책 가치 식별을 가능하게 하기 위해 상태, 행동, 혼란 인자의 공동 분포를 표현하기 위해 잠재 변수 모델을 사용한다.
• 혼란 인자 사후 추정의 모델 잘못 설정에 대한 내성적 강건성을 평가하기 위해 사후 노이즈 주입을 적용한다.
• 이중으로 강건한 추정과 대체 측정값 기반 비율 학습을 결합하여 안정성과 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 혼란 인자가 관측되지 않지만 상태와 행동이 혼란 인자의 대체 측정값으로 기능할 경우, 무한 수명 MDP에서 정책 가치를 식별할 수 있는가?
• RQ2 관측되지 않은 혼란 인자가 존재하는 상황에서 대체 측정값을 사용하여 정적 분포 비율을 어떻게 추정할 수 있는가?
• RQ3 독립적이고 동일하게 분포된(confounder) 가정 하에서 제안된 방법의 이론적 일치성은 어떻게 보장되는가? 그리고 근접한 i.i.d. 설정에서는 어떻게 되는가?
• RQ4 모델 잘못 설정과 혼란 인자 사후 노이즈 상황에서 인과적 및 비인과적 OPE 기준과 비교하여 경험적으로 방법의 성능은 어떻게 되는가?
• RQ5 최적 균형 조정을 대체 측정값 기반 비율 추정과 효과적으로 조합하여 보상 함수 직접 모델링을 피할 수 있는가?

주요 결과

• 독립적이고 동일하게 분포된(confounder) 가정 하에서 일致된 정책 가치 추정이 가능하다.
• 근접한 i.i.d. 혼란 인자 설정에서 제안된 방법에 대한 이론적 오차 한계가 확립되었다.
• C-ModelWin 및 Confounded GridWorld 환경에서 인과적 및 비인과적 기준과 비교해 강력한 경험적 성능을 보였다.
• 혼란 인자 사후 분포의 모델 잘못 설정과 노이즈에 대해 내성적 강건성을 보이며, 사후 노이즈 주입 실험을 통해 이를 입증했다.
• 이중으로 강건한 추정기는 사후 불확실성 하에서도 안정성이 향상되어 노이즈가 많은 조건에서 직접 방법보다 뛰어난 성능을 보였다.
• 상태-행동 대체 측정값의 사용은 명시적 혼란 인자 모델링 없이도 정책 가치 식별이 가능하게 하였다.