[논문 리뷰] PAC-Bayesian Policy Evaluation for Reinforcement Learning

Mahdi Milani Fard, Joëlle Pineau외 1명|arXiv (Cornell University)|2012. 02. 14.

Machine Learning and Algorithms참고 문헌 21인용 수 5

한 줄 요약

이 논문은 함수 근사와 함께 배치 강화 학습에 대한 최초의 PAC-Bayesian 경계를 제안하며, 유의미한 사전 지식은 활용하면서 오해의 소지가 있는 사전 지식은 무시하는 강력한 정책 평가를 가능하게 한다. 이 방법은 사전 지식의 정확성과는 무관하게 일반화 보장을 제공하며, 신뢰성에 따라 사전 지식의 가중치를 동적으로 조정함으로써 전이 학습 시나리오에서 표준 베이지안 RL을 능가한다.

ABSTRACT

Bayesian priors offer a compact yet general means of incorporating domain knowledge into many learning tasks. The correctness of the Bayesian analysis and inference, however, largely depends on accuracy and correctness of these priors. PAC-Bayesian methods overcome this problem by providing bounds that hold regardless of the correctness of the prior distribution. This paper introduces the first PAC-Bayesian bound for the batch reinforcement learning problem with function approximation. We show how this bound can be used to perform model-selection in a transfer learning scenario. Our empirical results confirm that PAC-Bayesian policy evaluation is able to leverage prior distributions when they are informative and, unlike standard Bayesian RL approaches, ignore them when they are misleading.

연구 동기 및 목표

• 사전 분포의 정확성과는 관계없이 유효한 일반화 경계 프레임워크를 개발하여 배치 강화 학습에 적용한다.
• PAC-Bayesian 경계를 활용해 도메인 지식을 통한 모델 선택을 가능하게 하여 전이 학습에서의 모델 선택을 가능하게 한다.
• 베이지안 RL이 잘못된 사전 지식에 민감한 문제를 해결하기 위해 분포에 종속되지 않는 일반화 보장을 도입한다.
• 오해의 소지가 있는 사전 지식은 자동으로 낮추고 정보가 풍부한 사전 지식은 활용하는 이론적으로 탄탄한 방법을 제공한다.
• 함수 근사와 오프-폴리시 데이터를 고려한 강화 학습 환경에 PAC-Bayesian 이론을 확장한다.

제안 방법

• 일반화 이론에 기반한 어떤 사전 분포에 대해서도 유효한, 배치 RL에서 정책 평가를 위한 PAC-Bayesian 경계를 제안한다.
• 정책에 대한 사후 분포를 사용하며, 데이터 분포에 대해 고확률로 기대 성능이 경계됨을 보장한다.
• 경계를 정책 평가 목적에 적용하여, 함수 근사기로 매개변수화된 정책의 집합에서 최고의 정책을 선택할 수 있도록 한다.
• 경계가 사전과 사후 간의 KL 발산에 의존하는 사후에 대한 위험 최소화 접근법을 사용한다.
• PAC-Bayesian 경계를 최소화하도록 사후를 최적화하는 실용적인 알고리즘을 제안하며, 이는 전이 학습에서의 모델 선택을 가능하게 한다.
• 일반화 오차의 대체 측정으로 경계를 사용하여, 향후 데이터에 대해 잘 일반화할 가능성이 높은 정책 선택이 가능하다.

실험 결과

연구 질문

• RQ1 PAC-Bayesian 이론을 함수 근사와 함께 배치 강화 학습의 정책 평가에 대해 일반화 경계를 제공하도록 확장할 수 있는가?
• RQ2 잘못된 사전 지식에 대해 강건하면서도 정책 평가에 효과적으로 사전 지식을 통합할 수 있는가?
• RQ3 제안된 경계를 강화 학습의 전이 학습 시나리오에서의 모델 선택을 안내하는 데 사용할 수 있는가?
• RQ4 사전 지식이 오류가 있거나 정확하지 않을 경우, 이 방법이 표준 베이지안 RL을 능가하는가?
• RQ5 오프-폴리시 정책 평가에서 일반화 오차의 신뢰할 수 있는 대체 측정으로 PAC-Bayesian 경계를 사용할 수 있는가?

주요 결과

• 제안된 PAC-Bayesian 경계는 사전 지식의 정확성과는 관계없이 유효한 일반화 보장을 제공하며, 이론적으로 강건함을 보장한다.
• 실험 결과는 정보가 풍부한 사전 지식을 효과적으로 활용함으로써 정확한 사전 지식이 존재할 경우 전이 학습에서 성능 향상을 이룬다.
• 사전 지식이 오해의 소지가 있을 경우, 방법은 자동으로 이를 낮추며 성능 저하를 방지한다.
• 경계는 일반화 오차의 신뢰할 수 있는 대체 측정으로 작동하여 실질적인 모델 선택에 효과적이다.
• 잘못되거나 노이즈가 있는 사전 지식이 존재하는 시나리오에서 표준 베이지안 RL을 능가하며, 강건함을 입증한다.
• 함수 근사와 함께 사용할 경우, 기준 방법 대비 더 나은 일반화 성능을 달성한다.