[논문 리뷰] Intrinsically Efficient, Stable, and Bounded Off-Policy Evaluation for Reinforcement Learning

Nathan Kallus, Masatoshi Uehara|arXiv (Cornell University)|2019. 06. 09.

Reinforcement Learning in Robotics참고 문헌 23인용 수 8

한 줄 요약

이 논문은 중요도 샘플링(IS), 자기정규화된 중요도 샘플링(SNIS), 이중으로 강건한(DR) 방법보다 내재적으로 더 효율적이면서도 SNIS의 유한성과 안정성도 유지하는 경험적 가능도 기반의 새로운 이면 정책 평가(OPE) 추정기들을 제안한다. 이 추정기들은 문맥적 밴디트와 강화학습 환경 양쪽 모두에서 渐진적 평균 제곱오차(MSE) 향상을 달성하며, 이론적 보장과 실험적 검증을 통해 기존 방법들보다 일관된 성능 향상을 보인다.

ABSTRACT

Off-policy evaluation (OPE) in both contextual bandits and reinforcement learning allows one to evaluate novel decision policies without needing to conduct exploration, which is often costly or otherwise infeasible. The problem's importance has attracted many proposed solutions, including importance sampling (IS), self-normalized IS (SNIS), and doubly robust (DR) estimates. DR and its variants ensure semiparametric local efficiency if Q-functions are well-specified, but if they are not they can be worse than both IS and SNIS. It also does not enjoy SNIS's inherent stability and boundedness. We propose new estimators for OPE based on empirical likelihood that are always more efficient than IS, SNIS, and DR and satisfy the same stability and boundedness properties as SNIS. On the way, we categorize various properties and classify existing estimators by them. Besides the theoretical guarantees, empirical studies suggest the new estimators provide advantages.

연구 동기 및 목표

• 기존 OPE 방법의 한계, 즉 IS의 높은 분산, Q함수의 잘못된 특정화 하에서의 DR의 불안정성, DR의 유한성 부족 문제를 해결하기 위해.
• 이론적 점근적 MSE 측면에서 항상 IS, SNIS, DR보다 더 효율적인 추정기를 개발하기 위해.
• Q함수가 잘못 특정화되어도 SNIS의 유한성과 안정성 특성을 유지할 수 있도록 신규 추정기를 설계하기 위해.
• IS, SNIS, DR를 포함하는 공통적인 파라미터 프레임워크를 통합하여 체계적인 개선을 가능하게 하기 위해.
• 문맥적 밴디트와 강화학습 환경에서 제안된 추정기의 실험적 검증을 수행하기 위해.

제안 방법

• IS, SNIS, DR가 특수한 경우로 포함되는 계수에 의해 매개변수화된 추정기의 일반적 클래스를 제안한다.
• 점근적 MSE를 최소화하기 위해 경험적 가능도를 사용하여 최적의 파라미터를 선택함으로써 내재적 효율성을 확보한다.
• 두 가지 변형, 즉 REG(회귀 기반) 및 EMP(경험적 가능도 기반) 추정기를 도입하며, 둘 다 효율성이 향상됨.
• 영향 함수와 점근적 분산 표현식을 유도하여 Q함수가 올바르게 특정화된 조건 하에서 국소 효율성과 MSE 최적성을 증명한다.
• 보상의 지지역역에 추정기가 포함되도록 제약을 두어 유한성을 확보함으로써 SNIS의 안정성과 유사한 성질을 유지한다.
• 이 프레임워크를 T=1인 문맥적 밴디트와 T>1인 마코프 결정 과정에 적용하며, 이론적 및 실험적 검증을 수행한다.

실험 결과

연구 질문

• RQ1 점근적 MSE 측면에서 항상 IS, SNIS, DR보다 더 효율적인 OPE 추정기를 구성할 수 있는가?
• RQ2 Q함수가 잘못 특정화되어도 SNIS의 유한성과 안정성을 유지하면서 DR의 국소 효율성을 달성할 수 있는가?
• RQ3 IS, SNIS, DR를 특수한 경우로 포함하고 체계적인 개선이 가능한 통합 프레임워크가 존재하는가?
• RQ4 제안된 추정기는 문맥적 밴디트 및 강화학습 환경에서 실험적으로 어떻게 성능을 발휘하는가?
• RQ5 Q함수가 잘못 특정화되었을 때, 기존 방법들과 비교해 신규 추정기의 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 EMP 및 REG 추정기는 일반 조건 하에서 점근적 MSE가 엄격히 낮아, IS, SNIS, DR보다 내재적으로 더 효율적이다.
• Q함수가 잘못 특정화되어도 SNIS와 유사한 유한성과 안정성 특성을 유지하여 DR의 불안정성을 피한다.
• 문맥적 밴디트 및 강화학습 환경(예: Windy Gridworld, Cliff Walking, Mountain Car)에서의 실험 결과, 기준 방법들보다 일관된 성능 향상을 보였다.
• 이론적 분석을 통해 Q함수가 잘 특정화된 경우, 제안된 추정기의 점근적 MSE가 반모수 효율 한계에 도달함을 확인하였다.
• Q함수가 잘못 특정화되었을 때도 표준 DR보다 성능이 뛰어나, 기존 DR에서 관찰되는 MSE 악화를 피한다.
• 경험적 가능도의 사용은 안정성과 유한성을 희생시키지 않고 효율성을 향상시키는 최적의 가중치를 가능하게 한다.