[논문 리뷰] On the Generalization Gap in Reparameterizable Reinforcement Learning

Huan Wang, Stephan Zheng외 2명|arXiv (Cornell University)|2019. 05. 29.

Reinforcement Learning in Robotics인용 수 14

한 줄 요약

이 논문은 재구성 가능(reparameterizable) 강화학습에 대해 재구성 기법을 통해 지도학습과 연결함으로써 이론적 일반화 경계를 수립한다. 이를 통해 라데마처(Rademacher) 및 PAC-Bayes 분석을 가능하게 하며, 일반화 갭이 환경 전이, 보상, 정책 함수 클래스의 연속성에 의존함을 보여준다. 실험적 검증을 통해 더 부드러운 역학적 특성과 낮은 리프시츠(Lipschitz) 상수를 가진 경우 일반화 갭이 감소함을 확인하였다.

ABSTRACT

Understanding generalization in reinforcement learning (RL) is a significant challenge, as many common assumptions of traditional supervised learning theory do not apply. We focus on the special class of reparameterizable RL problems, where the trajectory distribution can be decomposed using the reparametrization trick. For this problem class, estimating the expected return is efficient and the trajectory can be computed deterministically given peripheral random variables, which enables us to study reparametrizable RL using supervised learning and transfer learning theory. Through these relationships, we derive guarantees on the gap between the expected and empirical return for both intrinsic and external errors, based on Rademacher complexity as well as the PAC-Bayes bound. Our bound suggests the generalization capability of reparameterizable RL is related to multiple factors including "smoothness" of the environment transition, reward and agent policy function class. We also empirically verify the relationship between the generalization gap and these factors through simulations.

연구 동기 및 목표

• 정책 기반 강화학습에서 유한 샘플 일반화 보장을 제공하지 못하는 문제를 해결하기 위해, 특히 과적합과 분포 이탈(distribution shift)에 대응하고자 한다.
• 경로 분포를 재구성 기법을 통해 정책의 무작위성과 환경의 무작위성으로 분리할 수 있는 재구성 가능한 RL 문제의 클래스를 규명하고자 한다.
• 라데마처 복잡도와 PAC-Bayes 이론을 활용해 내재적(과적합 유사) 및 외재적(분포 이탈) 오차에 대한 일반화 경계를 유도하고자 한다.
• 정책의 부드러움, 전이 함수의 부드러움, 모델 복잡성 등의 요소와 일반화 갭 간의 관계를 실험적으로 검증하고자 한다.

제안 방법

• 재구성 기법을 사용하여 경로를 외부 무작위 변수의 결정적 함수로 표현함으로써 정책의 의존성과 환경의 무작위성 간을 분리한다.
• 라데마처 복잡도와 PAC-Bayes 경계를 적용하여 재구성 가능한 MDP에서 기대 수익과 경험 수익 간의 유한 샘플 일반화 보장을 도출한다.
• 정책과 환경 동역학을 유한 리프시츠 상수를 가진 함수 클래스로 모델링하며, 가중치 노름을 부드러움의 대체 척도로 사용한다.
• 스토캐스틱 그래디언트 최적화를 사용하여 정책의 부드러움(소프트맥스의 온도를 통해), 전이의 부드러움, 모델 크기를 변화시키며 일반화 갭을 실험적으로 평가한다.
• 초기 상태와 전이 분포에 제어 가능한 편향(라데마처 노이즈)을 도입하여 분포 이탈 하에서의 외재적 일반화 갭을 측정한다.
• Adam 최적화기와 학습률 감소 전략을 사용하며, 각 설정에 대해 100회의 시도를 반복하여 통계적 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 표준 지도학습 가정이 적용되지 않는 정책 기반 강화학습에서 일반화를 이론적으로 분석할 수 있는 방법은 무엇인가?
• RQ2 재구성 가능한 RL에서 일반화 갭과 정책, 환경 전이, 보상 함수의 부드러움 간의 관계는 어떠한가?
• RQ3 라데마처 복잡도와 PAC-Bayes 경계는 재구성 가능한 RL에 대해 효과적으로 유한 샘플 일반화 보장을 도출하는 데 사용될 수 있는가?
• RQ4 초기 상태 또는 전이 동역학의 분포 이탈은 RL에서 일반화 갭에 어떤 영향을 미치며, 이를 경계로 설정할 수 있는가?
• RQ5 모델 용량과 최적화 하이퍼파rameter는 재구성 가능한 RL에서 일반화 갭에 어느 정도의 영향을 미치는가?

주요 결과

• 정책이 더 부드러워질수록 일반화 갭이 감소한다. 정책의 리프시츠 상수 지표(1/τ ∏‖θˡ‖F)가 65.6k에서 131.3k로 증가함에 따라 평균 갭이 20% 감소하였다.
• 초기화 노이즈 스케일 ζ가 1에서 10으로 증가함에 따라 평균 일반화 갭이 0.481에서 0.477로 감소하여, 더 부드러운 정책에서 초기 상태 이탈에 대한 민감도가 감소함을 확인하였다.
• 전이 분포의 이탈이 심각하게 일반화 갭을 증가시킨다: ζ가 1에서 1,000으로 증가함에 따라 갭이 11에서 73,300으로 증가하여 시간 단계에 걸쳐 오차가 누적됨을 보여주었다.
• 온도 τ를 통해 전이의 부드러움(T₁)을 높일 경우, τ가 1에서 100으로 증가함에 따라 일반화 갭이 0.336에서 0.214로 감소하여 부드러움이 일반화 오차 감소에 기여함을 확인하였다.
• 더 큰 모델은 더 높은 일반화 갭을 보였다: 모델 파라미터 수가 65.6k에서 110만으로 증가함에 따라 갭이 0.204에서 0.418로 증가하여, 재구성 가능한 설정에서도 용량이 과적합을 악화시킬 수 있음을 시사하였다.
• 실험 결과는 일반화 성능가 부드러운 정책과 환경 동역학, 특히 분포 이탈 하에서의 영향을 강력하게 받는다는 이론적 주장이 검증되었음을 확인하였다.