[논문 리뷰] On the Generalization of Representations in Reinforcement Learning

Charline Le Lan, Stephen Tu외 3명|arXiv (Cornell University)|2022. 03. 01.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 논문은 상태 표현의 유효 차원에 따라 일반화 오차에 대한 이론적 경계를 제안하며, 근사화와 일반화 사이의 상충 관계를 정량화한다. 유효 차원이 낮은 표현일수록 더 잘 일반화됨을 보이며, 고전적인 강화학습 방법과 아케이드 환경을 통해 이를 실증적으로 검증한다. 여기서 유효 차원은 성능과 상관관계가 있으며, 이 경계를 기반으로 한 보조 손실은 오프라인 강화학습 성능을 향상시킨다.

ABSTRACT

In reinforcement learning, state representations are used to tractably deal with large problem spaces. State representations serve both to approximate the value function with few parameters, but also to generalize to newly encountered states. Their features may be learned implicitly (as part of a neural network) or explicitly (for example, the successor representation of \citet{dayan1993improving}). While the approximation properties of representations are reasonably well-understood, a precise characterization of how and when these representations generalize is lacking. In this work, we address this gap and provide an informative bound on the generalization error arising from a specific state representation. This bound is based on the notion of effective dimension which measures the degree to which knowing the value at one state informs the value at other states. Our bound applies to any state representation and quantifies the natural tension between representations that generalize well and those that approximate well. We complement our theoretical results with an empirical survey of classic representation learning methods from the literature and results on the Arcade Learning Environment, and find that the generalization behaviour of learned representations is well-explained by their effective dimension.

연구 동기 및 목표

• 강화학습에서 상태 표현이 어떻게, 언제 일반화되는지에 대한 정밀한 기술이 부족한 문제를 다루기 위해.
• 표현의 근사 품질과 일반화 능력 사이의 상충 관계를 체계화하기 위해.
• 표현의 유효 차원에 따라 달라지는 일반화 오차에 대한 이론적으로 탄탄한 경계를 개발하기 위해.
• 다양한 강화학습 방법과 환경에서 유효 차원과 일반화 성능 간의 관계를 실증적으로 검증하기 위해.
• 이 경계의 실용적 유용성을 입증하기 위해, 오프라인 강화학습 성능을 향상시키는 보조 손실을 설계하기 위해.

제안 방법

• 표현의 유효 차원을 정의하는 특징 행렬 Φ의 일관성에 따라 의존하는 몬테카를로 가치 함수 추정에 대한 일반화 오차 경계를 제안한다.
• 유효 차원을 한 상태의 가치에 대한 지식이 다른 상태에 얼마나 영향을 미치는지 측정하는 척도로 정의하며, 이는 k(최적)에서부터 |S|(일반화 없음)까지의 범위를 가진다.
• 성공자 표현(SR)에 이 경계를 적용하여, SR의 일반화 능력이 SR 행렬의 특이벡터에 의해 결정됨을 보여준다.
• 딥 강화학습에서 표현 학습을 정규화하기 위해 유효 차원 경계를 기반으로 한 보조 손실을 도입한다.
• DQN, 레인보우, IQN, M-IQN에서 유도된 표현의 유효 차원을 아케이드 게임에서 실증적으로 평가하며, 1500회의 배치 통계를 사용한다.
• 오프라인 강화학습 실험에서 시간 차분과 보조 정규화를 균형 잡기 위한 하이퍼파rameter α를 포함한 복합 손실을 사용한다.

실험 결과

연구 질문

• RQ1 상태 표현의 유효 차원이 강화학습에서 일반화 능력에 어떻게 영향을 미치는가?
• RQ2 제안된 일반화 오차 경계가 다양한 표현들에 대해 실증 성능을 얼마나 정확하게 예측하는가?
• RQ3 유효 차원 기반의 보조 손실이 표현 학습과 후속 강화학습 성능을 향상시키는가?
• RQ4 환경의 전이 구조에 따라 성공자 표현의 일반화 행동은 어떻게 변화하는가?
• RQ5 딥 강화학습 에이전트에서 유효 차원, 랭크, 실증 성능 간의 관계는 무엇인가?

주요 결과

• 표현의 유효 차원은 일반화 성능을 강력하게 예측하며, 낮은 값일수록 더 잘 일반화됨을 의미한다.
• 네 방 방식 환경에서, 유효 차원이 낮은 표현일수록 일반화가 더 잘 되며, 특히 전이 동역학이 변할 경우 두드러진다.
• 아케이드 학습 환경에서, DQN, 레인보우, IQN, M-IQN 에이전트의 유효 차원은 실증 성능과 상관관계가 있다.
• 유효 차원 경계 기반의 보조 손실은 오프라인 강화학습 설정에서 성능 향상을 이끌었으며, α=0.1일 때 최적의 성과를 보였다.
• 표현의 랭크는 근사 오차의 Proxy로 사용되며 학습 진행 상황과 상관관계가 있지만, 유효 차원은 일반화를 캡처하는 데 있어 별개의 개념이다.