[논문 리뷰] Doubly Robust Off-policy Value Evaluation for Reinforcement Learning

Nan Jiang, Lihong Li|arXiv (Cornell University)|2015. 11. 11.

Advanced Causal Inference Techniques참고 문헌 27인용 수 81

한 줄 요약

이 논문은 강화학습에서 보행 정책에 의해 수집된 데이터를 바탕으로 타겟 정책의 성능을 평가하기 위해 회귀와 중요도 샘플링을 조합한 이중으로 강건한(DR) 오프-폴리시 가치 평가 추정기(DR off-policy value evaluation estimator)를 제안한다. 이 방법은 표준 중요도 샘플링보다 편향이 없고 분산이 더 낮은 추정을 달성한다. 특정 조건 하에서 Cramér-Rao 하한을 충족하며 벤치마크 작업에서 기존 방법보다 뚜렷이 승승하고, 더 신뢰할 수 있고 더 공격적인 안전 정책 향상이 가능하게 한다.

ABSTRACT

We study the problem of off-policy value evaluation in reinforcement learning (RL), where one aims to estimate the value of a new policy based on data collected by a different policy. This problem is often a critical step when applying RL in real-world problems. Despite its importance, existing general methods either have uncontrolled bias or suffer high variance. In this work, we extend the doubly robust estimator for bandits to sequential decision-making problems, which gets the best of both worlds: it is guaranteed to be unbiased and can have a much lower variance than the popular importance sampling estimators. We demonstrate the estimator's accuracy in several benchmark problems, and illustrate its use as a subroutine in safe policy improvement. We also provide theoretical results on the hardness of the problem, and show that our estimator can match the lower bound in certain scenarios.

연구 동기 및 목표

• 행동 정책에 의해 수집된 데이터를 바탕으로 타겟 정책의 성능을 평가해야 하는 오프-폴리시 가치 평가 문제를 해결하기 위해.
• 기존 방법의 한계를 극복하기 위해: 중요도 샘플링의 높은 분산과 회귀 기반 접근법의 측정 불가능한 편향을 해결하기 위해.
• 편향이 없고 분산이 낮은 추정기를 개발하여 오프-폴리시 평가에서 두 가지 장점을 모두 확보하기 위해.
• 정확한 가치 평가가 정책 선택에 매우 중요한 안전 정책 향상에서 추정기의 효과성을 입증하기 위해.
• 이론적 보장을 확보하여, 특정 조건 하에서 DR 추정기의 분산이 Cramér-Rao 하한을 충족함을 보여주기 위해.

제안 방법

• 행동 정책 데이터로부터 타겟 정책의 가치를 추정하기 위해 학습된 Q-함수(회귀 기반 추정)와 중요도 샘플링 가중치를 조합한 이중으로 강건한 추정기를 제안한다.
• 기존의 문맥적 밴드잇(contextual bandits)에서의 이중으로 강건한 추정기를 유한 수명의 MDP에서의 순차적 의사결정 문제로 확장한다.
• 중요도 샘플링 추정기와 회귀 기반 추정기의 가중 조합을 사용하며, 가중치는 Q-함수 추정의 정확도에 따라 결정된다.
• 통제 변수(control variate) 기법을 사용하여 분산을 줄이며, 이론적으로 Q-함수가 잘못 지정되어도 추정기가 여전히 편향이 없음을 보장한다.
• 안전 정책 반복에서 서브루틴으로 추정기를 적용하며, 신뢰 구간을 사용하여 강건한 정책 선택을 보장한다.
• 이론적 분석을 통해 특정 상황에서는 DR 추정기의 분산이 Cramér-Rao 하한을 충족함을 보여주며, 이는 최적성임을 시사한다.

실험 결과

연구 질문

• RQ1 이중으로 강건한 추정기는 문맥적 밴드잇에서 순차적 의사결정 문제인 MDP로 성공적으로 확장될 수 있는가?
• RQ2 제안된 DR 추정기는 중요도 샘플링보다 분산이 낮으면서도 여전히 편향이 없는가?
• RQ3 특정 오프-폴리시 평가 상황에서는 DR 추정기가 분산의 통계적 하한을 충족하는가?
• RQ4 중요도 샘플링에 신뢰 구간을 적용한 경우에 비해 DR 추정기는 안전 정책 향상에서 어떻게 성능을 내는가?
• RQ5 Q-함수 추정에서 모델가 틀어졌을 경우 DR 추정기는 강건한가?

주요 결과

• 이중으로 강건한 추정기는 Mountain Car와 Grid World를 포함한 모든 벤치마크 환경에서 표준 중요도 샘플링보다 분산을 크게 줄였다.
• 타겟 정책가 행동 정책에서 멀리 떨어져 있을 경우, DR은 중요도 샘플링이 고분산 문제를 겪는 것과는 달리 우수한 성능을 보였다.
• 타겟 정책와 행동 정책가 가까울 경우, DR은 편향이 발생할 수 있는 회귀 기반 방법과 비교해 유사하거나 더 낫게 성능을 보였다.
• 특정 설정에서 DR 추정기의 분산은 Cramér-Rao 하한을 충족하여 통계적 효율성을 나타냈다.
• 안전 정책 향상에서 DR은 안전성을 유지하면서도 더 공격적인 정책 선택을 가능하게 하였고, 중요도 샘플링에 신뢰 구간을 적용한 것보다 뛰어났다.
• 실험 결과는 DR이 편향을 유지하면서도 데이터 크기가 증가할수록 IS보다 더 높은 진짜 가치 향상을 달성함을 보여주었다.