[논문 리뷰] URLB: Unsupervised Reinforcement Learning Benchmark

Michael Laskin, Denis Yarats외 7명|arXiv (Cornell University)|2021. 10. 28.

Reinforcement Learning in Robotics인용 수 11

한 줄 요약

URLB는 딥마인드 컨트롤 서킷의 12개의 연속 제어 작업을 통해 비지도 강화학습(비지도 RL)을 위한 통합 벤치마크를 도입한다. 이는 사전 훈련과 미세조정을 표준화하며, 여덟 가지 주요 비지도 RL 알고리즘을 공통 최적화 백본을 사용해 평가한다. 기존 방법 중 어느 것도 이 벤치마크를 완전히 해결하지 못함을 확인하여, 자기지도 학습 기반 RL에서의 탐색 및 일반화 능력 향상의 필요성을 드러낸다.

ABSTRACT

Deep Reinforcement Learning (RL) has emerged as a powerful paradigm to solve a range of complex yet specific control tasks. Yet training generalist agents that can quickly adapt to new tasks remains an outstanding challenge. Recent advances in unsupervised RL have shown that pre-training RL agents with self-supervised intrinsic rewards can result in efficient adaptation. However, these algorithms have been hard to compare and develop due to the lack of a unified benchmark. To this end, we introduce the Unsupervised Reinforcement Learning Benchmark (URLB). URLB consists of two phases: reward-free pre-training and downstream task adaptation with extrinsic rewards. Building on the DeepMind Control Suite, we provide twelve continuous control tasks from three domains for evaluation and open-source code for eight leading unsupervised RL methods. We find that the implemented baselines make progress but are not able to solve URLB and propose directions for future research.

연구 동기 및 목표

• 비지도 강화학습(URL) 알고리즘 평가를 위한 통합 벤치마크 부족 문제를 해결한다.
• 사전 훈련과 미세조정 절차를 표준화하여 비지도 RL 방법 간 공정하고 투명한 비교를 가능하게 한다.
• 비지도 사전 훈련 후 새로운 작업에 효율적으로 적응할 수 있는 일반화된 RL 에이전트의 개발을 촉진한다.
• 공통 최적화 백본을 사용한 벤치마크 환경과 여덟 가지 주요 비지도 RL 기반 알고리즘의 오픈소스 코드를 제공한다.
• 현재 URL 방법의 핵심 한계를 규명하고 향후 연구를 위한 유망한 방향을 제안한다.

제안 방법

• 두 단계 벤치마크 설계: (i) 내재 보상 기반의 보상 없음 사전 훈련, (ii) 외재 보상 기반의 후행 미세조정.
• 딥마인드 컨트롤 서킷을 기반으로, 다양한 난이도를 가진 12개의 연속 제어 작업을 포함하는 워커, 퀼러드루프, 재코의 세 도메인을 통합한다.
• 공통 최적화 백본을 사용해 여덟 가지 주요 비지도 RL 알고리즘(RND, ProtoRL, DIAYN, SMM, APS 등)을 구현하여 공정한 비교를 가능하게 한다.
• 픽셀 기반 및 상태 기반 관측을 사용해 입력 모odal 간의 일반화 능력을 평가한다.
• 모든 알고리즘과 작업 간에 사전 훈련 기간(100k~2M 프레임)과 미세조정 프로토콜을 표준화한다.
• 모든 실험에 대해 10개의 랜덤 시드를 사용하는 고정 평가 프로토콜을 도입하여 재현성과 통계적 탄력성을 확보한다.

실험 결과

연구 질문

• RQ1 기존 비지도 RL 알고리즘이 표준화된 벤치마크에서 강력한 일반화와 효율적인 소수의 적응을 달성할 수 있는가?
• RQ2 예측 오차, 엔트로피 최대화, 스킬 발견 등 다양한 내재 보상 메커니즘은 사전 훈련 품질 측면에서 어떻게 비교되는가?
• RQ3 장기 환경에서 고정 길이의 환경에서, 능력 기반 탐색 방법의 성능을 제한하는 스킬 공간 크기의 영향은 어느 정도인가?
• RQ4 관측 모달리티(픽셀 대 상태)의 선택이 비지도 RL 사전 훈련 성능에 상당한 영향을 미치는가?
• RQ5 현재 비지도 RL 방법의 핵심 병목 현상은 무엇이며, 이는 복잡하고 다양한 제어 작업을 해결하지 못하게 하는가?

주요 결과

• 기존 비지도 RL 알고리즘 중 어느 것도 URLB 벤치마크의 12개 작업을 모두 해결하지 못함을 확인하여, 사전 훈련 효율성과 탐색 능력 향상에 여전히 큰 개선 여지가 있음을 시사한다.
• 지식 기반 방법(RND)과 데이터 기반 방법(ProtoRL)이 유사한 미세조정 성능를 보이며, 둘 다 다양성 기반 탐색에 효과적임을 시사한다.
• 능력 기반 방법(DIAYN, SMM, APS)은 스킬 공간 크기가 제한되어 있어 낮은 수준의 행동(넘어지기, 바닥에 누워있는 것 등)에 과적합되면서 심각하게 성능이 열등함을 확인함.
• 최고 성능의 방법들은 1M 프레임 사전 훈련 후 워커 및 퀼러드루프 도메인에서 평균 300~500의 미세조정 점수를 기록하지만, 가장 복잡한 작업에서는 최적 성능에 도달하지 못함.
• 재코의 조작 작업에서는 심지어 최고 성능의 방법들도 평균 점수가 50 이하인 도달 작업에서만 약간의 성공을 거두며, 정교한 조작 능력에 대한 일반화 능력이 열악함을 시사함.
• 벤치마크는 현재 비지도 RL 방법이 사전 훈련 중 외재 보상 신호가 없는 장기 환경에서 어려움을 겪으며, 특히 스킬 공간이 작을 경우에 심각한 성능 저하를 보임을 드러냄.