[논문 리뷰] BYOL-Explore: Exploration by Bootstrapped Prediction

Zhaohan Daniel Guo, Shantanu Thakoor외 12명|arXiv (Cornell University)|2022. 06. 16.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

BYOL-Explore는 잠재 공간에서 부트스트랩된 예측을 활용하여 시각적으로 복잡한 환경에서 탐색을 위한 통합적이고 자기지도 학습 기반의 접근법을 제안한다. 이는 세계의 표현과 탐색 정책을 동시에 학습하며, 외부 보상 외에 내재 보상만을 사용하여 도전적인 DM-HARD-8 벤치마크에서 인간 수준의 성능을 달성한다. 이는 인간의 지시가 필요로 하는 이전의 방법들을 능가한다.

ABSTRACT

We present BYOL-Explore, a conceptually simple yet general approach for curiosity-driven exploration in visually-complex environments. BYOL-Explore learns a world representation, the world dynamics, and an exploration policy all-together by optimizing a single prediction loss in the latent space with no additional auxiliary objective. We show that BYOL-Explore is effective in DM-HARD-8, a challenging partially-observable continuous-action hard-exploration benchmark with visually-rich 3-D environments. On this benchmark, we solve the majority of the tasks purely through augmenting the extrinsic reward with BYOL-Explore s intrinsic reward, whereas prior work could only get off the ground with human demonstrations. As further evidence of the generality of BYOL-Explore, we show that it achieves superhuman performance on the ten hardest exploration games in Atari while having a much simpler design than other competitive agents.

연구 동기 및 목표

• 희귀 외부 보상과 부분 관찰 가능한 시각적으로 rich한 환경에서의 효율적 탐색 문제를 해결하기 위해.
• 단일 자기지도 예측 목표 아래 세계 표현 학습과 탐구 유도 정책 학습을 통합하기 위해.
• 하드 탐색 환경에서 보조 목표, 인간의 지시, 또는 복잡한 메모리 메커니즘에 의존하지 않기 위해.
• 다양한 고차원 제어 작업, 특히 DM-HARD-8과 Atari를 포함한 환경에서의 일반화 성능을 입증하기 위해.

제안 방법

• BYOL에서 영감을 얻은 부트스트랩된 잠재 예측 기반 메커니즘을 사용하여, 에이전트가 자신의 잠재 표현의 지연된 타겟 버전을 예측한다.
• 잠재 공간에서의 예측 오차를 표현 학습과 내재 보상 설계의 유일한 학습 목표로 사용한다.
• 학습 안정성과 표현 일관성 향상을 위해 EMA(지수이동평균) 타겟 네트워크를 적용한다.
• 장기적 계획과 미래 상태 예측을 장려하기 위해 다단계 오픈 루프 예측(Horizon K)을 적용한다.
• 학습 안정성 향상과 샘플 효율성 향상을 위해 내재 보상에 클리핑을 적용한다.
• 단일 손실을 사용하여 세계 모델과 단일 정책 네트워크를 함께 훈련함으로써 보조 목표 없이 종단 간 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 잠재 공간에서의 단일 자기지도 예측 오차가 시각적으로 복잡하고 부분 관찰 가능한 환경에서 탐색을 효과적으로 이끄는가?
• RQ2 부트스트랩된 잠재 예측이 ICM과 RND와 같은 전통적 탐구 방법보다 하드 탐색 벤치마크에서 우월한가?
• RQ3 통합된 세계 모델과 정책 훈련 프레임워크가 인간의 지시 없이 인간 수준의 성능을 달성할 수 있는가?
• RQ4 예측 수평 K와 EMA 감쇠 계수 α와 같은 하이퍼파rameter 선택에 대해 이 방법의 탄력성은 어떠한가?
• RQ5 이 방법은 희귀 보상 3D 환경과 Atari 게임을 포함한 다양한 환경으로 일반화되는가?

주요 결과

• BYOL-Explore는 인간 지시 없이 외부 보상에 내재 보상을 추가하여 DM-HARD-8 벤치마크의 8개 작업 중 7개에서 인간 수준의 성능을 달성한다.
• 모든 DM-HARD-8 작업에서 ICM과 RND를 능가하며, 이는 해당 기준들이 최적 성능을 내기 위해 별도로 튜닝된 경우에도 마찬가지다.
• 예측 수평 K가 증가할수록 성능이 부드럽게 향상되며, 이는 다단계 미래 예측이 탐색 효율성을 향상시킨다는 것을 보여준다.
• EMA 감쇠 계수 α에 대해 높은 탄력성을 보이며, α = 0.99에서 최적 성능을 기록하고 하이퍼파rameter 변화에 대해 안정적인 학습을 보인다.
• Agent57과 Go-Explore보다 더 단순한 아키텍처를 사용하여 10개의 가장 어려운 Atari 탐색 게임에서 초인간 수준의 성능을 달성한다.
• 공유 파라미터와 작업당 감소된 데이터를 가진 다중 작업 설정에서도 단일 작업 기반 베이스라인을 능가함으로써 샘플 효율성과 일반화 능력을 확인한다.