[논문 리뷰] Infinite-horizon Off-Policy Policy Evaluation with Multiple Behavior Policies

Xinyun Chen, Lu Wang외 3명|arXiv (Cornell University)|2020. 04. 30.

Advanced Causal Inference Techniques참고 문헌 16인용 수 2

한 줄 요약

이 논문은 여러 행동 정책을 활용하여 상태 및 상태-행동 정적 분포 보정의 분산을 줄이는 데 목적이 있는 새로운 이방법 평가 방법인 추정 혼합 정책(EMP)을 제안한다. EMP는 정책에 관계없이 추정하는 방법과 구조적인 유도 편향을 결합함으로써 무한 수명 주기 이방법 평가의 정확도를 향상시켜 연속적이고 이산적인 환경에서 최신 기술을 능가한다.

ABSTRACT

We consider off-policy policy evaluation when the trajectory data are generated by multiple behavior policies. Recent work has shown the key role played by the state or state-action stationary distribution corrections in the infinite horizon context for off-policy policy evaluation. We propose estimated mixture policy (EMP), a novel class of partially policy-agnostic methods to accurately estimate those quantities. With careful analysis, we show that EMP gives rise to estimates with reduced variance for estimating the state stationary distribution correction while it also offers a useful induction bias for estimating the state-action stationary distribution correction. In extensive experiments with both continuous and discrete environments, we demonstrate that our algorithm offers significantly improved accuracy compared to the state-of-the-art methods.

연구 동기 및 목표

• 다양한 행동 정책에서 수집된 데이터를 바탕으로 정확한 이방법 정책 평가를 수행하는 데 도전하는 것.
• 무한 수명 주기 이방법 평가에 핵심적인 정적 분포 보정의 추정 분산을 줄이는 것.
• 정책에 관계없이 추정하는 성질을 유지하면서 상태-행동 분포 보정을 위한 유용한 유도 편향을 통합하는 방법을 제안하는 것.
• 이산적이고 연속적인 제어 환경에서 기존 최신 기술 대비 추정 정확도를 향상시키는 것.

제안 방법

• 정적 분포 보정을 추정하기 위한 부분적으로 정책에 관계없는 방법의 일종으로 추정 혼합 정책(EMP)을 제안한다.
• 다양한 행동 정책에서 수집한 실측 데이터를 활용하여 상태 정적 분포 보정에 대한 혼합 기반 추정기 구축.
• EMP가 상태 정적 분포 추정의 분산을 줄인다는 것을 보여주기 위해 철저한 이론적 분석을 적용.
• 구조적인 유도 편향을 통합하여 상태-행동 정적 분포 보정의 추정을 향상시킴.
• 다양한 행동 정책 데이터를 조합하여 이방법 평가의 강인성과 분산을 줄임.
• 행동 정책의 행동을 완전히 알지 못해도 혼합된 행동 정책을 활용하여 일반화와 추정 정확도를 향상시킴.

실험 결과

연구 질문

• RQ1 무한 수명 설정에서 이방법 평가의 분산을 줄이기 위해 다수의 행동 정책을 효과적으로 조합할 수 있는가?
• RQ2 제안된 EMP 방법은 기존의 정책에 관계없는 접근 방식에 비해 추정 정확도를 어떻게 향상시키는가?
• RQ3 구조적인 유도 편향은 상태-행동 정적 분포 보정 추정에 어떤 영향을 미치는가?
• RQ4 다양한 환경에서 EMP는 어떻게 최신 기술 대비 뛰어난 성능을 발휘하는가?
• RQ5 행동 정책의 혼합은 정적 분포 보정 추정의 안정성과 정확도에 어떤 영향을 미치는가?

주요 결과

• EMP는 혼합 기반 추정을 통해 상태 정적 분포 보정 추정의 분산을 크게 줄인다.
• 이 방법은 상태-행동 정적 분포 보정 추정의 정확도를 향상시키는 데 유용한 유도 편향을 제공한다.
• 실증 결과에 따르면, EMP는 연속적이고 이산적인 환경에서 최신 기술 대비 향상된 추정 정확도를 달성한다.
• 제안된 접근 방식은 다양한 강화학습 벤치마크에서 일관된 성능 향상을 보여준다.
• 이론적 분석을 통해 EMP는 낮은 분산 추정을 유지하면서도 정책에 관계없는 성질을 그대로 유지함을 확인한다.
• 실험 결과를 통해 다수의 행동 정책을 사용할 경우 무한 수명 설정에서 더 강인하고 정확한 이방법 평가가 가능하다는 것이 검증되었다.