[논문 리뷰] Benchmarks for Deep Off-Policy Evaluation

Justin Fu, Mohammad Norouzi외 11명|arXiv (Cornell University)|2021. 03. 30.

Reinforcement Learning in Robotics참고 문헌 54인용 수 24

한 줄 요약

이 논문은 고차원 연속 제어 작업을 사용하여 비정책 강화학습 방법을 평가하기 위한 표준화된 프레임워크인 Deep Off-Policy Evaluation (DOPE) 벤치마크를 소개한다. 다양한 오프라인 데이터셋, 각 작업당 다수의 정책, 이상 및 악성 설정에서의 철저한 평가 프로토콜을 제공하여 OPE 알고리즘의 정책 가치 추정, 랭킹, 선택에 대한 신뢰할 수 있는 비교를 가능하게 하며, 재현 가능성을 확보하기 위해 최신 기준 성능 결과를 함께 제공한다.

ABSTRACT

Off-policy evaluation (OPE) holds the promise of being able to leverage large, offline datasets for both evaluating and selecting complex policies for decision making. The ability to learn offline is particularly important in many real-world domains, such as in healthcare, recommender systems, or robotics, where online data collection is an expensive and potentially dangerous process. Being able to accurately evaluate and select high-performing policies without requiring online interaction could yield significant benefits in safety, time, and cost for these applications. While many OPE methods have been proposed in recent years, comparing results between papers is difficult because currently there is a lack of a comprehensive and unified benchmark, and measuring algorithmic progress has been challenging due to the lack of difficult evaluation tasks. In order to address this gap, we present a collection of policies that in conjunction with existing offline datasets can be used for benchmarking off-policy evaluation. Our tasks include a range of challenging high-dimensional continuous control problems, with wide selections of datasets and policies for performing policy selection. The goal of our benchmark is to provide a standardized measure of progress that is motivated from a set of principles designed to challenge and test the limits of existing OPE methods. We perform an evaluation of state-of-the-art algorithms and provide open-source access to our data and code to foster future research in this area.

연구 동기 및 목표

• 딥 강화학습에서 비정책 평가(OPE)를 위한 통합적이고 도전적인 벤치마크의 부족을 해결하기 위해.
• 다양하고 고차원적인 연속 제어 환경에서 OPE 방법의 표준화되고 재현 가능한 평가를 가능하게 하기 위해.
• 데이터셋 커버리지 및 지원 조건의 변화에 따라 정책 가치 추정, 랭킹, 선택 평가를 지원하기 위해.
• 다양한 행동 정책을 포함한 대규모, 장수평의 오프라인 데이터셋을 제공하여 OPE 알고리즘의 성능을 시험하기 위해.
• 오프라인 RL 분야의 진전을 촉진하기 위해 오픈소스 데이터셋, 타겟 정책, 평가 코드 및 기준 결과를 공개하기 위해.

제안 방법

• DOPE 벤치마크는 정책 가치 추정 및 선택 평가를 위해 각 작업당 10에서 96개의 정책을 포함하며, 다양한 성능 수준을 반영한다.
• D4RL 및 RL Unplugged의 기존 오프라인 RL 환경을 사용하며, 앤티, 허퍼, 워커2d, 할프체타 등 고차원 연속 행동 공간을 갖춘 환경을 포함한다.
• 이론적 및 악성 설정에서 평가를 수행하며, 데이터셋 커버리지 및 지원 조건을 변화시켜 OPE 방법의 강건성 테스트를 수행한다.
• 성능 측정은 회귀@1, 평균제곱오차(MSE), 추정된 수익과 진짜 수익 간 상관계수 등의 메트릭을 사용한다.
• 표준화된 평가 API를 포함하며, 모든 작업에서 최신 기준 OPE 알고리즘(DICE, VPM, 듀얼로버스트, FQE, IS 등)의 성능 결과를 보고한다.
• 단일 정책 가치 추정 및 다중 정책 선택을 모두 지원하여 OPE 알고리즘의 종합적 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 기존의 OPE 방법들은 다양한 고차원, 장수평의 연속 제어 작업에서 어떻게 성능을 내는가?
• RQ2 데이터셋 커버리지 및 지원 조건의 변화에 따라 OPE 방법은 어느 정도 일반화되는가?
• RQ3 오프라인 데이터만 이용할 경우, OPE 방법은 후보 정책 집합에서 최상의 정책을 얼마나 잘 랭킹하고 선택할 수 있는가?
• RQ4 다양한 행동 정책을 포함한 현실적이고 복잡한 환경에서 최신 기준 OPE 알고리즘의 상대적 성능은 어떠한가?
• RQ5 다양한 OPE 방법은 도전적인 오프라인 평가 환경에서 편향, 분산, 강건성 간의 트레이드오프를 어떻게 수행하는가?

주요 결과

• 듀얼로버스트와 FQE(L2)는 대부분의 작업에서 가장 낮은 회귀@1을 기록했으며, 전문가 및 중간 수준 정책 하에서 앤티와 허퍼에서 0.20 이하의 값을 기록했다.
• 최고의 DICE는 앤티와 허퍼에서 강력한 성능을 보였으며, 이상 설정에서 회귀@1 값이 0.17~0.18이었지만, 악성 설정에서는 높은 분산으로 인해 어려움을 겪었다.
• 중요도 샘플링(IS)은 높은 분산과 열악한 성능을 보였으며, 여러 작업에서 회귀@1 값이 0.5를 초과했고, 특히 저커버리지 데이터셋에서 두드러졌다.
• VPM은 작업 간에 안정적인 성능을 보였지만, 대부분의 설정에서 DICE와 듀얼로버스트에 뒤지며, 특히 고분산 또는 저지원 환경에서 성능이 열 劣했다.
• 산점도 분석 결과 대부분의 방법에서 심각한 추정 오차가 관찰되었으며, 특히 랜덤 또는 중간 수준 정책 하에서 워커2d와 앤티 작업에서 두드러진 이상치가 확인되었다.
• 벤치마크는 데이터셋 커버리지 및 지원이 OPE 성능에 상당한 영향을 미친다는 점을 드러내었으며, 이상 설정에서는 강력한 성능를 보였지만 악성 설정에서는 실패하는 경우가 빈번히 발생했다.