[논문 리뷰] More Efficient Off-Policy Evaluation through Regularized Targeted Learning

Aurélien Bibaut, Ivana Malenica외 2명|arXiv (Cornell University)|2019. 12. 13.

Distributed Sensor Networks and Detection Algorithms인용 수 17

한 줄 요약

이 논문은 강화학습에서 오프-폴리시 평가를 위한 정규화된 타겟팅 최대우도 추정기인 RLTMLE를 소개한다. 이는 이중으로 강건한 추정과 교차검증 및 정규화를 통한 분산 감소를 조합한다. 다양한 환경와 모형 오특정 수준에서 뛰어난 성능을 발휘하며, 기존 방법들을 항상 능가한다. 수렴 속도는 $O_P(1/ackslashsqrt extasciint n)$를 유지하고 점근적 정규성을 보인다.

ABSTRACT

We study the problem of off-policy evaluation (OPE) in Reinforcement Learning (RL), where the aim is to estimate the performance of a new policy given historical data that may have been generated by a different policy, or policies. In particular, we introduce a novel doubly-robust estimator for the OPE problem in RL, based on the Targeted Maximum Likelihood Estimation principle from the statistical causal inference literature. We also introduce several variance reduction techniques that lead to impressive performance gains in off-policy evaluation. We show empirically that our estimator uniformly wins over existing off-policy evaluation methods across multiple RL environments and various levels of model misspecification. Finally, we further the existing theoretical analysis of estimators for the RL off-policy estimation problem by showing their $O_P(1/\sqrt{n})$ rate of convergence and characterizing their asymptotic distribution.

연구 동기 및 목표

• 통계적 인과 추론 방법을 활용하여 강화학습에서 오프-폴리시 평가(OPE)의 효율성과 강건성을 향상시키는 것.
• 강화학습과 인과 추론에서의 타겟팅 최대우도 추정(TMLE) 간 격차를 메우는 것.
• 추정기 성능 향상을 위해 특히 교차검증과 정규화 기법을 활용한 분산 감소 기법을 개발하는 것.
• MDP에서 정책가치에 대한 효율적 영향 함수(EIF)를 유도하여 이론적 최적성을 확립하는 것.
• 제안된 RLTMLE 추정기가 다양한 환경와 모형 오특정 수준에서 기존 OPE 방법들을 항상 능가하는 것으로 실증적으로 보여주는 것.

제안 방법

• 장기적 타겟팅 최대우도 추정기(LTMLE)를 MDP에서의 오프-폴리시 평가 문제에 적응한다.
• 정책가치에 대한 효율적 영향 함수(EIF)를 도출하여, 반세미모수적 효율 경계를 달성하는 추정기를 구축할 수 있도록 한다.
• 모든 데이터셋을 통합하여 Q함수 추정치를 평균화하기 위해 교차검증 기반의 샘플 분할 기법을 적용하여 추정 위험을 감소시킨다.
• 정규화 기법—특히 MAGIC 앙상블 방법—을 도입하여 LTMLE 추정기의 안정성 향상과 분산 감소를 도모한다.
• 모델 기반(직접 방법) 및 중요도 샘플링 구성 요소를 이중으로 강건한 프레임워크에 통합하여 편향 감소를 보장한다.
• 다양한 정규화된 추정기를 통합하여 성능을 향상시킨 정규화된, 교차검증 기반의 LTMLE 추정기(RLTMLE)를 구현한다.

실험 결과

연구 질문

• RQ1 타겟팅 최대우도 추정이 강화학습에서 오프-폴리시 평가에 효과적으로 적용되어 추정기의 효율성과 강건성을 향상시킬 수 있는가?
• RQ2 마르코프 결정 과정(MDP)에서 정책가치에 대한 효율적 영향 함수(EIF)는 무엇이며, 이를 최적의 추정기를 구축하는 데 어떻게 활용할 수 있는가?
• RQ3 교차검증과 정규화 기법을 어떻게 활용하여 오프-폴리시 평가에서 분산을 줄이고 유한표본 성능을 향상시킬 수 있는가?
• RQ4 제안된 RLTMLE 추정기는 반세미모수 이론에 따르면 기대하는 바와 같이 $O_P(1/\sqrt{n})$ 수렴 속도와 점근적 정규성을 확보하는가?
• RQ5 RLTMLE 추정기는 다양한 강화학습 환경와 모형 오특정 수준에서 기존 OPE 방법들을 항상 능가하는가?

주요 결과

• 제안된 RLTMLE 추정기는 ModelWin, ModelFail, Gridworld를 포함한 여러 강화학습 환경에서 모든 경쟁 OPE 방법보다 균일하게 뛰어난 성능을 발휘한다.
• RLTMLE 추정기는 $O_P(1/\sqrt{n})$ 수렴 속도와 점근적 정규성을 확보하여 이론적 최적성을 확인한다.
• 교차검증 기반의 Q함수 평균화 기법은 표준 샘플 분할 대비 추정 위험을 일정 요인만큼 감소시킨다.
• 특히 MAGIC 앙성 기반 정규화 기법의 포함은 모형 오특정 하에서 추정기의 안정성과 성능을 크게 향상시킨다.
• 이 논문은 오프-폴리시 평가 문제에서 정책가치에 대한 효율적 영향 함수(EIF)를 처음으로 명시적으로 유도하였으며, 반세미모수적 효율 추정기를 구축하는 데 기여한다.
• 실증 결과는 RLTMLE가 모형 오특정 또는 행동 정책와 평가 정책 간 차이가 클 경우에도 낮은 편향과 분산을 유지함을 보여준다.