[논문 리뷰] Data-Efficient Policy Evaluation Through Behavior Policy Search

Josiah P. Hanna, Philip S. Thomas외 2명|arXiv (Cornell University)|2017. 06. 12.

Reinforcement Learning in Robotics참고 문헌 17인용 수 8

한 줄 요약

이 논문은 중요도 샘플링 추정기의 분산을 최소화하기 위해 행동 정책를 최적화함으로써 데이터 효율적인 정책 평가를 향상시키는 Behavior Policy Gradient (BPG)를 제안한다. 환경의 동역학을 알지 못하더라도, 오프-폴리시 추정기의 분산에 대해 경사 하강법을 적용함으로써 BPG는 온-폴리시 평가보다 더 낮은 평균 제곱 오차를 달성한다.

ABSTRACT

We consider the task of evaluating a policy for a Markov decision process (MDP). The standard unbiased technique for evaluating a policy is to deploy the policy and observe its performance. We show that the data collected from deploying a different policy, commonly called the behavior policy, can be used to produce unbiased estimates with lower mean squared error than this standard technique. We derive an analytic expression for the optimal behavior policy --- the behavior policy that minimizes the mean squared error of the resulting estimates. Because this expression depends on terms that are unknown in practice, we propose a novel policy evaluation sub-problem, behavior policy search: searching for a behavior policy that reduces mean squared error. We present a behavior policy search algorithm and empirically demonstrate its effectiveness in lowering the mean squared error of policy performance estimates.

연구 동기 및 목표

• 온-폴리시 몬테카를로 방법을 사용할 때 발생하는 높은 분산 문제를 해결하기 위해.
• 오프-폴리시 평가에서 정책 성능 추정치의 평균 제곱 오차(MSE)를 줄이기 위해.
• 더 나은 데이터 효율성을 위해 행동 정책를 최적화하는 방법을 개발하기 위해.
• 환경의 전이 확률을 알지 못하더라도 정책 평가의 분산을 줄일 수 있도록 하기 위해.

제안 방법

• 행동 정책 선택을 새로운 최적화 문제로 정식화함: 행동 정책 탐색.
• 중요도 샘플링 추정기의 분산을 최소화하는 최적의 행동 정책에 대한 해석적 표현을 유도함.
• 오프-폴리시 추정기의 분산을 최소화하기 위해 행동 정책의 파라미터를 조정하는 확률적 경사 하강법인 Behavior Policy Gradient (BPG)를 제안함.
• 중요도 샘플링을 사용하여 행동 정책에 따라 수집된 데이터로부터 평가 정책의 성능에 대한 비편향 추정치를 생성함.
• BPG와 함께 사용할 경우 분산을 추가로 줄이기 위해 제어 변수 기법을 활용함.
• 중요도 샘플링 추정기의 추정된 분산에 기반하여 행동 정책의 파라미터에 대해 경사 업데이트를 적용함.

실험 결과

연구 질문

• RQ1 행동 정책를 최적화함으로써 온-폴리시 방법과 비교해 정책 평가의 평균 제곱 오차를 줄일 수 있는가?
• RQ2 환경의 전이 확률을 알지 못하더라도 행동 정책 탐색이 오프-폴리시 정책 평가의 분산을 낮출 수 있는가?
• RQ3 BPG는 모델 기반 제어 변수와 효과적으로 조합되어 추정 오차를 추가로 줄일 수 있는가?
• RQ4 행동 정책 적응이 온-폴리시 평가에 비해 유의미한 향상을 제공하는 조건은 무엇인가?

주요 결과

• BPG는 온-폴리시 몬테카를로 추정보다 정책 성능 추정치의 평균 제곱 오차를 줄인다.
• 평가 정책의 고유한 분산이 낮더라도 BPG는 온-폴리시 평가보다 분산이 낮게 유지된다.
• 희귀하지만 고도의 영향을 미치는 사건이 분산에 기여하는 환경에서는 BPG가 추정 오차를 효과적으로 줄인다.
• 모델 기반 제어 변수와 조합할 경우, BPG는 정책 평가의 평균 제곱 오차를 추가로 감소시킨다.
• BPG는 온-폴리시 평가와 비교해 데이터 효율성이 떨어지지 않으며, 이론적으로 분산이 증가하지 않도록 보장된다.
• 실험 결과는 BPG가 다양한 환경에서 온-폴리시 방법보다 추정 정확도 측면에서 뛰어나다는 것을 입증한다.