[논문 리뷰] Cross-Trajectory Representation Learning for Zero-Shot Generalization in RL

Bogdan Mazoure, Ahmed M. Ahmed외 3명|arXiv (Cornell University)|2021. 06. 04.

Domain Adaptation and Few-Shot Learning참고 문헌 48인용 수 7

한 줄 요약

이 논문은 강화학습을 위한 자기지도 표현 학습 방법인 Cross-Trajectory Representation Learning (CTRL)을 제안한다. 이 방법은 보상 신호에 의존하지 않고 행동적으로 유사한 궤적을 유사한 잠재 표현으로 매핑하기 위해 인코더를 훈련시음으로써 제로샷 일반화를 향상시킨다. CTRL는 에이전트의 자체 정책으로부터 수집한 궤적 표현에 기반한 클러스터링 기반의 대비 목표를 사용하며, PPO와 결합했을 때 Procgen 벤치마크에서 최신 기술 성능을 달성한다. 이는 엔드 투 엔드 RL 및 기타 자기지도 학습 방법보다 뛰어나다.

ABSTRACT

A highly desirable property of a reinforcement learning (RL) agent -- and a major difficulty for deep RL approaches -- is the ability to generalize policies learned on a few tasks over a high-dimensional observation space to similar tasks not seen during training. Many promising approaches to this challenge consider RL as a process of training two functions simultaneously: a complex nonlinear encoder that maps high-dimensional observations to a latent representation space, and a simple linear policy over this space. We posit that a superior encoder for zero-shot generalization in RL can be trained by using solely an auxiliary SSL objective if the training process encourages the encoder to map behaviorally similar observations to similar representations, as reward-based signal can cause overfitting in the encoder (Raileanu et al., 2021). We propose Cross-Trajectory Representation Learning (CTRL), a method that runs within an RL agent and conditions its encoder to recognize behavioral similarity in observations by applying a novel SSL objective to pairs of trajectories from the agent's policies. CTRL can be viewed as having the same effect as inducing a pseudo-bisimulation metric but, crucially, avoids the use of rewards and associated overfitting risks. Our experiments ablate various components of CTRL and demonstrate that in combination with PPO it achieves better generalization performance on the challenging Procgen benchmark suite (Cobbe et al., 2020).

연구 동기 및 목표

• 고차원 관측 공간에서 딥 강화학습의 제로샷 일반화를 향상시키기 위해, 새로운 그러나 유사한 작업 간 일반화가 핵심적인 상황에서의 성능 향상.
• 보상 기반 과적합의 위험을 줄이기 위해, 보상에 의존하는 감독을 보상 없는 행동 기반 자기지도 목표로 대체함으로써 표현 학습의 과적합 문제 해결.
• 외부 감독이나 사전 정의된 정책 유사성 지표가 필요 없이 궤적 간 행동 유사성을 포착하는 표현 학습 방법 개발.
• 무 supervision으로 궤적 수준의 행동 유사성을 학습하는 것이 기존의 대비 또는 내재적 호기심 기반 방법보다 더 나은 일반화 성능을 이끌 수 있음을 입증함.

제안 방법

• CTRL는 에이전트의 자체 정책에서 수집한 궤적 표현에 자기지도 대비 목표를 적용하여 신경 인코더를 훈련시킨다.
• 행동 유사성 기반으로 동적 프로토타입을 생성하기 위해 온라인 클러스터링을 사용하여 궤적 표현을 그룹화하고, 대비 학습을 위한 양성 쌍을 형성한다.
• 근접한 클러스터의 표현 간에 교차 예측 손실을 적용함으로써, 행동적으로 유사한 궤적에 대해 일관되고 저차원의 표현을 학습하도록 유도한다.
• 표현 학습 품질 향상을 위해 표준 RL 프레임워크(예: PPO) 내에서 작동하며, 주된 RL 목표를 수정하지 않고 정책 최적화 중에 대비 목표를 적용한다.
• CTRL는 믿음 상태에 대한 의사-이분할 측도를 암묵적으로 학습하며, 공식적 이분할과 유사하지만 보상 의존성과 관련된 과적합을 피한다.
• 이 방법은 모듈러하며, 오프-폴리시 또는 온-폴리시 RL 알고리즘과 어떤 조합도 가능하며, Procgen 벤치마크 세트에서의 실험적 검증을 통해 검증되었다.

실험 결과

연구 질문

• RQ1 보상 신호에 의존하지 않고 궤적에 대한 자기지도 대비 목표가 딥 강화학습에서 제로샷 일반화를 향상시킬 수 있는가?
• RQ2 궤적 간 행동 유사성 학습이 DIAYN 또는 Proto-RL과 같은 기존의 표현 학습 방법보다 더 나은 일반화 성능을 이끌 수 있는가?
• RQ3 궤적 표현의 클러스터링 시간 동적 특성이 제로샷 RL 설정에서의 일반화 성능에 어떤 영향을 미치는가?
• RQ4 보상 없는 행동 기반 표현 학습 방법이 PSE나 DBC와 같은 보상 기반 또는 메트릭 기반 접근법과 비교해도 성능이 유사하거나 뛰어나게 구현될 수 있는가?

주요 결과

• PPO와 결합한 CTRL은 대부분의 환경에서 DAAC, PPO+DIAYN, Proto-RL을 능가하는 Procgen 벤치마크에서 최신 기술 성능을 달성한다.
• 평균적으로 PPO+CTRL는 Procgen 환경 전반에서 평균 수익이 6.1을 기록하며, PPO+DAAC(평균 5.2)와 PPO+Proto-RL(평균 5.5)보다 뚜렷하게 뛰어나다.
• 절단 실험 결과, 느린 클러스터링 수렴이 더 나은 일반화를 이끌어내어, 표현 학습의 시간 동적 특성이 ZSG에서 핵심적임을 시사한다.
• PSE와 DBC가 정책 유사성 메트릭을 사용하고 있음에도 불구하고, CTRL이 더 뛰어난 성능을 보이며, 이는 이 설정에서 암묵적이고 궤적 기반의 유사성 학습이 명시적 메트릭 기반 접근보다 더 효과적임을 시사한다.
• 배경 변화와 예측 불가능한 작업 동역학에 대해 강건성을 보이며, 'heist', 'plunder', 'fruitbot'과 같은 도전적인 환경에서도 뛰어난 성능을 기록한다.
• 토이 환경에서 CTRL은 국소적 행동 변화를 성공적으로 포착하여, 보상 감독 없이도 세밀한 행동 유사성을 학습할 수 있음을 확인한다.