[논문 리뷰] Empirical Study of Off-Policy Policy Evaluation for Reinforcement Learning

Cameron Voloshin, Hoang Le외 2명|arXiv (Cornell University)|2019. 11. 15.

Reinforcement Learning in Robotics참고 문헌 60인용 수 68

한 줄 요약

이 논문은 Caltech OPE Benchmarking Suite (COBS)와 다양한 환경과 요인에 걸친 오프폴리시 정책 평가(OPE) 방법에 대한 광범위한 경험적 연구를 제시합니다.

ABSTRACT

We offer an experimental benchmark and empirical study for off-policy policy evaluation (OPE) in reinforcement learning, which is a key problem in many safety critical applications. Given the increasing interest in deploying learning-based methods, there has been a flurry of recent proposals for OPE method, leading to a need for standardized empirical analyses. Our work takes a strong focus on diversity of experimental design to enable stress testing of OPE methods. We provide a comprehensive benchmarking suite to study the interplay of different attributes on method performance. We distill the results into a summarized set of guidelines for OPE in practice. Our software package, the Caltech OPE Benchmarking Suite (COBS), is open-sourced and we invite interested researchers to further contribute to the benchmark.

연구 동기 및 목표

• 성능에 영향을 주는 요인을 강조하는 OPE 표준 벤치마킹 방법론을 도입한다.
• OPE 방법의 견고한 스트레스 테스트를 가능하게 하는 다양한 실험 도메인을 제공한다.
• 대표적 OPE 기준선을 체계적으로 평가하여 방법 선택에 대한 실용적 지침을 도출한다.

제안 방법

• 데이터 생성 및 도메인 요인을 제어하는 Caltech OPE 벤치마킹 스위트(COBS)를 개발하여 OPE 방법의 스트레스 테스트를 가능하게 한다.
• OPE 방법을 Inverse Propensity Scoring, Direct Methods, Hybrid Methods로 분류하고 각 카테고리의 대표적 기준선을 평가한다.
• 지속가능한 시야를 가진 8개의 환경을 설계하여 수평, 희소성, 확률적성, 표현, 정책 불일치를 제어하고 다양한 조건에서의 성능을 연구한다.
• 두 가지 정책 클래스(상태 독립적이면서 고정된 행동 확률과 Q*에서 도출된 ε-탐욕)로 성능을 측정하고 다중 시드에서 상대적 MSE와 근처 최상위 빈도를 측정한다.
• 수천 개의 실험에 대해 벤치마킹하여 방법의 강건성을 평가하고 방법 선택에 대한 실용적 지침을 도출한다.

실험 결과

연구 질문

• RQ1 다양한 환경에서 어떤 조건에서 서로 다른 OPE 방법(IPS, DM, HM)이 가장 잘 수행되는가?
• RQ2 수평 길이, 보상 희소성, 확률적성, 정책 불일치, 표현과 같은 요인이 OPE 정확도에 어떤 영향을 미치는가?
• RQ3 단일 최상위 OPE 방법이 있는가, 아니면 성능이 도메인 및 실험 조건에 따라 달라지는가?
• RQ4 모델 잘못 지정 및 알려지지 않은 행동 정책이 방법 간 OPE 성능에 어떤 영향을 미치는가?
• RQ5 실무자가 실제로 OPE 방법을 선택할 때 도움이 되는 지침은 무엇인가?

주요 결과

• 하나의 방법이 모든 조건에서 우위를 점하지는 않으며, 성능은 맥락에 크게 의존한다.
• PDWIS는 테스트된 시나리오에서 IPS 기반 추정치들 중 대체로 가장 잘 수행하는 경향이 있다.
• Direct Methods 중 FQE, Q^π(λ), IH가 반복적으로 강력하며, 데이터가 희소한 설정에서 FQE가 우수하고 Q^π(λ)는 데이터가 많아질수록 개선된다.
• 하이브리드 방법(DR/WDR/MAGIC)은 종종 기본 DM보다 더 높은 성능을 보이며, MAGIC이 자주 최상위 성능을 보이나 튜닝은 데이터- 및 도메인 종속적이다.
• 모델 잘못 지정 및 높은 정책 불일치는 HM에게 유리할 수 있지만, 고차원 또는 긴 수평의 설정에서는 DM이 경쟁력이 있거나 우수할 수 있다.
• 수평 길이는 중요하지만 평가 정책과 행동 정책 간의 정책 차이가 정확도에 더 큰 영향을 줄 수 있다.