[논문 리뷰] PC-PG: Policy Cover Directed Exploration for Provable Policy Gradient Learning

Alekh Agarwal, Mikael Henaff외 2명|arXiv (Cornell University)|2020. 07. 16.

Reinforcement Learning in Robotics인용 수 12

한 줄 요약

PC-PG는 타블루라 및 선형 MDP에서 다항 수렴 복잡도를 보장하는 증명 가능하게 효율적인 정책 그래디언트 방법을 제안한다. 이는 정책 커버(여러 정책의 앙상블)를 사용하여 탐색과 이용의 균형을 이룬다. 모델 잘못 지정 시에도 강력한 보장을 제공하며, 평균 오차 및 분포 이탈 조건 하에서의 근사 경계를 포함한다.

ABSTRACT

Direct policy gradient methods for reinforcement learning are a successful approach for a variety of reasons: they are model free, they directly optimize the performance metric of interest, and they allow for richly parameterized policies. Their primary drawback is that, by being local in nature, they fail to adequately explore the environment. In contrast, while model-based approaches and Q-learning directly handle exploration through the use of optimism, their ability to handle model misspecification and function approximation is far less evident. This work introduces the the Policy Cover-Policy Gradient (PC-PG) algorithm, which provably balances the exploration vs. exploitation tradeoff using an ensemble of learned policies (the policy cover). PC-PG enjoys polynomial sample complexity and run time for both tabular MDPs and, more generally, linear MDPs in an infinite dimensional RKHS. Furthermore, PC-PG also has strong guarantees under model misspecification that go beyond the standard worst case `∞ assumptions; this includes approximation guarantees for state aggregation under an average case error assumption, along with guarantees under a more general assumption where the approximation error under distribution shift is controlled. We complement the theory with empirical evaluation across a variety of domains in both reward-free and reward-driven settings.

연구 동기 및 목표

• 모델 기반 정책 그래디언트 방법의 탐색-이용 갈등 문제를 해결하기 위해, 국소적으로 최적화되며 종종 효과적인 탐색에 실패하는 문제를 해결한다.
• 타블루라 및 선형 MDP에서 증명 가능하게 샘플 효율성과 런타임 복잡도를 보장하는 방법을 개발한다.
• 함수 근사 및 상태 집합화 조건에서의 모델 잘못 지정에 대해 강건성 보장을 제공한다.
• 최악의 경우 가정을 초월하여 평균 케이스 및 분포 이탈 설정에서도 이론적 보장을 확장한다.

제안 방법

• PC-PG는 탐색 공간을 더 효과적으로 탐색할 수 있도록 설계된 정책 커버(학습된 정책의 앙상블)를 구성한다.
• 정책 커버의 커버리지에 따라 유도되는 정책 그래디언트 업데이트를 사용하여, 탐색되지 않았거나 부족하게 탐색된 영역이 적극적으로 대상이 되도록 보장한다.
• 재생 핵 힐버트 공간(RKHS) 내에서 작동하여 무한차원 함수 공간에서의 일반화를 가능하게 한다.
• 정책 커버를 통해 불확실성에 대한 낙관주의를 구현하여, 커버리지가 낮은 영역에서의 탐색을 촉진한다.
• 관련 문제 차원에 대해 다항 수렴 복잡도로 샘플 복잡도와 런타임에 대한 이론적 경계를 제공한다.
• 평균 오차 가정 하에서의 근사 보장을 도출하고, 분포 이탈 조건 하에서 제어 가능한 오차를 제공한다.

실험 결과

연구 질문

• RQ1 타블루라 및 선형 MDP에서 탐색과 이용을 균형 있게 유지하면서 증명 가능하게 샘플 효율성과 런타임 복잡도를 확보할 수 있는 정책 그래디언트 방법은 존재하는가?
• RQ2 함수 근사 조건에서 정책 그래디언트 방법은 어떻게 모델 잘못 지정에 대해 강건하게 만들 수 있는가?
• RQ3 평균 오차 또는 분포 이탈 조건 하에서 근사 오차가 유한할 때 이론적 보장을 어떻게 제공할 수 있는가?
• RQ4 정책 커버 메커니즘은 보상 보너스 함수에 의존하지 않고도 탐색을 체계적으로 미탐색 영역으로 유도할 수 있는가?
• RQ5 보상 기반 및 보상 없음 설정 모두에서 PC-PG의 성능은 표준 정책 그래디언트 및 Q-러닝 방법과 비교해 어떻게 되는가?

주요 결과

• PC-PG는 무한차원 RKHS 내에서 타블루라 MDP 및 선형 MDP 모두에 대해 다항 수준의 샘플 복잡도와 런타임을 달성한다.
• 모델 잘못 지정 조건 하에서도 강력한 보장을 제공하며, 평균 오차 가정 하에서 상태 집합화에 대한 근사 경계를 포함한다.
• 분포 이탈 조건 하에서 근사 오차가 유한할 경우 강건성을 확보하여 기존의 최악의 경우 ∞ 가정을 초월한다.
• 실증 평가를 통해 다양한 환경에서 보상 없음 및 보상 기반 설정 모두에서 경쟁 가능한 성능을 입증하였다.
• 정책 커버 메커니즘이 효과적으로 탐색을 유도하여 히ュ리스틱 보너스 함수나 명시적 탐색 전략에 대한 의존도를 감소시켰다.
• 진짜 동역학 또는 가치 함수가 함수 근사기로 완벽하게 캡처되지 않더라도 이론적 보장이 유지됨을 확인하였다.