[논문 리뷰] Bootstrap Latent-Predictive Representations for Multitask Reinforcement Learning

Daniel Guo, Bernardo Ávila Pires외 5명|arXiv (Cornell University)|2020. 04. 30.

Reinforcement Learning in Robotics참고 문헌 38인용 수 42

한 줄 요약

이 논문은 Predictions of Bootstrapped Latents (PBL)을 소개합니다. 이는 미래의 잠재 임베딩을 예측하고 잠재에서 상태로, 상태에서 잠재로의 예측으로 구성된 부트스트래핑 사이클을 사용하는 다중 작업 딥 RL용 자기지도 표현 학습 방법으로, DMLab-30과 Atari-57에서 성능을 향상시킵니다.

ABSTRACT

Learning a good representation is an essential component for deep reinforcement learning (RL). Representation learning is especially important in multitask and partially observable settings where building a representation of the unknown environment is crucial to solve the tasks. Here we introduce Prediction of Bootstrap Latents (PBL), a simple and flexible self-supervised representation learning algorithm for multitask deep RL. PBL builds on multistep predictive representations of future observations, and focuses on capturing structured information about environment dynamics. Specifically, PBL trains its representation by predicting latent embeddings of future observations. These latent embeddings are themselves trained to be predictive of the aforementioned representations. These predictions form a bootstrapping effect, allowing the agent to learn more about the key aspects of the environment dynamics. In addition, by defining prediction tasks completely in latent space, PBL provides the flexibility of using multimodal observations involving pixel images, language instructions, rewards and more. We show in our experiments that PBL delivers across-the-board improved performance over state of the art deep RL agents in the DMLab-30 and Atari-57 multitask setting.

연구 동기 및 목표

• 다중 작업, 부분 관찰 가능 RL 설정에서의 표현 학습 개선 동기를 제시합니다.
• 미래 관측의 잠재 임베딩을 예측하는 자기지도 보조 작업을 개발합니다.
• 표현 표현을 풍부하게 하기 위해 잠재 관측과 에이전트 상태 간의 부트스트래핑 메커니즘을 도입합니다.
• 잠재 공간에서 완전히 작동함으로써 다중 모달 관측 통합을 가능하게 합니다.
• DMLab-30과 Atari-57에서 PBL을 최신 기준(Baseline)과 비교하여 실험적으로 검증합니다.

제안 방법

• Z_t를 학습된 인코더 f(O_t)를 사용하여 관측의 잠재 임베딩으로 정의합니다.
• Forward prediction: horizon k=1..K에 대해 B_{t,k}의 압축된 일부 이력에서 Z_{t+k}를 예측하고 g를 사용한 예측으로 ||g(B_{t,k})-Z_{t+k}||^2를 최소화합니다.
• Reverse prediction: 잠재 Z_t에서 압축 이력 B_t를 예측하기 위해 g'를 사용하고 ||g'(f(O_t))-B_t||^2를 최소화합니다.
• 정상적 해를 유도하는 무의미한 솔루션을 피하기 위해 Forward 및 Reverse 예측기를 함께 학습하여 부트스트래핑 사이클을 구성합니다.
• B_t와 B_{t,k}를 계산하기 위해 전체 이력 h_f와 부분 이력 h_p의 두 RNN을 사용합니다.
• 더 나은 성능을 위한 더 큰 아키텍처와 효율성을 위한 타임스텝의 서브샘플링을 포함한 PopArt-IMPALA RL 베이스를 채택합니다.

실험 결과

연구 질문

• RQ1 PBL이 DMLab-30과 Atari-57에서 기존 표현 학습 방법에 비해 다중 작업 RL 성능을 향상시키나요?
• RQ2 예측 horizon이 PBL 성능에 어떤 영향을 미치며, 역방향 예측이 의미 있는 잠재 표현을 학습하는 데 어떤 역할을 하나요?
• RQ3 PBL이 무의미한 표현으로 붕괴하는지에 대한 안정성은 어떠하며 아키텍처 선택이 결과에 어떤 영향을 주나요?
• RQ4 PBL 인코딩이 작업 간 공유 구조를 포착하고 보지 못한 작업으로 일반화할 수 있나요?

주요 결과

• PBL은 DMLab-30 다중 작업 설정에서 보정된 픽셀 제어, CPC, DRAW를 보조 표현 작업으로 능가합니다.
• 정방향 horizon이 증가함에 따라 성능이 향상되지만 수익은 감소하고 다단계 예측이 단일 단계보다 유리합니다.
• 역방향 예측을 제거하고(잠재 타깃이 무작위인 경우) 길이가 긴 horizon에서도 이점이 남아 있음을 보여 주며, 단순한 Forward 예측만으로는 의미 있는 잠재 타깃이 없으면 충분하지 않음을 시사합니다; 역방향 예측은 유용한 잠재 구조를 학습하는 데 도움이 됩니다.
• PBL은 붕괴 없이 안정적으로 작동하며, 잠재 경로에서 무작위 프로젝션을 사용하는 경우에도 경쟁력 있는 결과를 낳아 robust한 학습 다이나믹스를 시사합니다.
• Atari-57에서도 PBL은 작업 간 중위 인간 정규화 점수를 향상시키며 DMLab-30 이상으로 일반성을 시사합니다; 여러 작업에서 PBL이 베이스라인을 능가합니다.
• 디코딩 프로브는 PBL의 표현이 물체 위치 정보를 더 잘 인코딩하고 무작위 프로젝션 기반의 기준보다 더 오래 유지됨을 보여 줍니다.