[논문 리뷰] Making Efficient Use of Demonstrations to Solve Hard Exploration Problems

Tom Le Paine, Çaǧlar Gülçehre외 12명|arXiv (Cornell University)|2019. 09. 03.

Reinforcement Learning in Robotics참고 문헌 41인용 수 41

한 줄 요약

R2D3는 부분적으로 관찰 가능한 환경에서 다양한 초기 조건을 가진 어려운 탐색 문제를 효율적으로 해결하기 위해 지도 데이터를 활용하는 강화학습 에이전트이다. 수십억 번의 학습 단계를 거친 후에도 다른 방법들이 완전히 실패하는 8개의 새로운 벤치마크 작업을 성공적으로 해결함으로써 최신 기술을 뛰어넘는 성능을 보였다.

ABSTRACT

This paper introduces R2D3, an agent that makes efficient use of demonstrations to solve hard exploration problems in partially observable environments with highly variable initial conditions. We also introduce a suite of eight tasks that combine these three properties, and show that R2D3 can solve several of the tasks where other state of the art methods (both with and without demonstrations) fail to see even a single successful trajectory after tens of billions of steps of exploration.

연구 동기 및 목표

• 변동하는 초기 조건을 가진 부분적 관찰 가능한 환경에서 희박한 보상과 고차원 상태 공간의 과제를 해결하기 위해.
• 복잡한 비마르코프 환경에서 탐색을 안내하기 위해 전문가 지도 데이터를 효율적으로 활용할 수 있는 방법을 개발하기 위해.
• 어려운 탐색, 부분적 관찰 가능성, 그리고 변동하는 초기 조건을 결합한 8개의 작업으로 구성된 벤치마크 세트를 설계하여 현재의 강화학습 방법을 시험하기 위해.
• 표준 강화학습 에이전트가 성공적인 경로를 발견하지 못하는 환경에서 지도 데이터가 샘플 복잡도를 극적으로 감소시킬 수 있음을 입증하기 위해.

제안 방법

• R2D3는 지도된 경로를 사용하여 장기적 계획과 스킬 습득을 분리하는 계층적 정책 네트워크를 적용한다.
• 기억 증강 아키텍처를 사용하여 과거 관측의 잠재 표현을 유지함으로써 부분적 관찰 가능성에 효과적으로 대응한다.
• 모의 학습을 통해 지도 데이터를 활용하여 탐색을 성공적인 상태 공간 영역으로 유도하는 정책을 사전 학습한다.
• 초기 학습 단계를 부스터링하기 위해 지도 데이터를 활용하는 커리큘럼 학습 전략을 적용한다.
• 내재적 호기심과 호기심 기반 탐색을 통합하지만, 초기 단계의 지도 기반 정책 학습 이후에만 적용하여 무작위 탐색을 방지한다.

실험 결과

연구 질문

• RQ1 희박한 보상 환경에서 초기 조건의 변동성이 높은 부분적 관찰 가능한 환경에서 지도 데이터가 샘플 효율성을 크게 향상시킬 수 있는가?
• RQ2 단일 에이전트 아키텍처가 비마르코프 환경에서 모의 학습과 탐색을 효과적으로 통합할 수 있는가?
• RQ3 표준 강화학습 방법이 수많은 훈련 단계를 거친 후에도 실패하는 환경에서 지도 데이터가 성공적인 경로를 발견하는 데 도움이 되는가?
• RQ4 지도 데이터의 통합이 희박한 보상 환경에서 탐색의 확장성에 어떤 영향을 미치는가?

주요 결과

• R2D3는 최신 기술이 수십억 번의 단계를 거쳐도 단 하나의 성공적인 경로를 찾지 못하는 8개의 새로운 벤치마크 작업 중 7개를 성공적으로 해결했다.
• 지도 데이터의 사용으로 성공에 도달하기 위한 환경 상호작용 횟수가 기준 방법 대비 수 개의 주기 수준으로 감소했다.
• R2D3는 다양한 초기 조건에서 뛰어난 성능을 보이며, 다양한 랜덤 시드와 작업 변형에 걸쳐 일관된 학습을 보였다.
• 지도 데이터가 불완전하거나 노이즈가 있을 경우에도 성능 향상이 측정 가능하게 나타났다.