[논문 리뷰] Demonstration-Guided Reinforcement Learning with Learned Skills

Karl Pertsch, Youngwoon Lee외 2명|arXiv (Cornell University)|2021. 07. 21.

Reinforcement Learning in Robotics참고 문헌 44인용 수 9

한 줄 요약

이 논문은 장기적인 시야를 가진 탐색 및 로봇 조작 작업에서 기존 방법보다 훨씬 더 빠르고 샘플 효율적으로 학습을 가능하게 하는, 재사용 가능한 스킬을 대규모 오프라인, 작업 무관 데이터셋에서 학습한 후 이를 활용해 새로운 작업의 학습을 가속화하는 Demonstration-guided 강화학습 방법인 SkiLD를 제안한다. 기존의 원시 동작을 단계별로 모방하는 것 대신, 제시된 스킬을 통해 정책 학습을 유도함으로써, 장기적인 시야를 가진 탐색 및 로봇 조작 작업에서 기존 방법보다 훨씬 더 가속화되고 샘플 효율적인 학습을 달성한다.

ABSTRACT

Demonstration-guided reinforcement learning (RL) is a promising approach for learning complex behaviors by leveraging both reward feedback and a set of target task demonstrations. Prior approaches for demonstration-guided RL treat every new task as an independent learning problem and attempt to follow the provided demonstrations step-by-step, akin to a human trying to imitate a completely unseen behavior by following the demonstrator's exact muscle movements. Naturally, such learning will be slow, but often new behaviors are not completely unseen: they share subtasks with behaviors we have previously learned. In this work, we aim to exploit this shared subtask structure to increase the efficiency of demonstration-guided RL. We first learn a set of reusable skills from large offline datasets of prior experience collected across many tasks. We then propose Skill-based Learning with Demonstrations (SkiLD), an algorithm for demonstration-guided RL that efficiently leverages the provided demonstrations by following the demonstrated skills instead of the primitive actions, resulting in substantial performance improvements over prior demonstration-guided RL approaches. We validate the effectiveness of our approach on long-horizon maze navigation and complex robot manipulation tasks.

연구 동기 및 목표

• 각 새로운 작업를 독립적으로 다루고 원시 동작을 단계별로 모방하는 기존의 제안 유도 강화학습 방법의 비효율성을 해결한다.
• 다양한 작업에서 수집된 대규모, 작업 무관 오프라인 데이터셋을 활용해 재사용 가능한 강력한 단기 시야 스킬을 추출한다.
• 기존에 학습된 스킬을 연결하는 스킬 기반 정책을 사용함으로써, 새로운 작업에서의 샘플 효율성을 향상시키고, 다시 시작하는 것 대신 기존 지식을 활용한다.
• 제한된 제안 데이터를 통해 새로운 작업으로의 효과적인 전이를 가능하게 하기 위해 스킬 사전 지식을 작업 관련 행동 분포와 정렬한다.
• 이미테이션 학습과 스킬 기반 강화학습 사이의 격차를 메우기 위해 오프라인 스킬 학습과 작업 특화 제안을 결합한다.

제안 방법

• 다양한 작업 경험의 대규모 오프라인 데이터셋을 사용해 스킬 탐색 알고리즘(예: SPiRL 기반 접근법)을 통해 재사용 가능한 스킬 집합을 학습한다.
• 오프라인 데이터로부터 스킬 사후분포를 구성하여 태스크 관련 스킬 쪽으로 탐색 및 정책 최적화를 유도한다.
• 판별자 기반 보상 보너스와 학습된 스킬 사후분포 사전을 조합한 강화학습 목표를 설계한다.
• 제안을 원시 동작을 모방하기 위해 사용하는 것이 아니라, 고수준 스킬의 연결을 유도하기 위한 스킬 수준의 정책을 통해 사용한다.
• 환경 보상, GAIL 방식의 판별자 보너스, 스킬 사후분포 사전을 조합하여 정책을 최적화함으로써 학습을 안정화시킨다.
• 제안된 상태를 모방하도록 유도하는 하이브리드 목표를 사용해 정책을 피지컬하게 최적화함과 동시에 스킬 레파지토리를 활용해 효율적인 탐색을 유도한다.

실험 결과

연구 질문

• RQ1 작업에 무관한 오프라인 데이터셋에서의 이전 경험은 새로운 작업에서 제안 유도 강화학습의 샘플 효율성을 크게 향상시킬 수 있는가?
• RQ2 복잡하고 장기적인 시야를 가진 작업에서 스킬 기반의 이민팅과 원시 동작 기반의 이민팅은 어떤 측면에서 더 강건하고 빠른 학습 속도를 보이는가?
• RQ3 특히 데이터-작업 정렬 측면에서, 제안과 오프라인 스킬 사전 지식을 조합할 경우 가장 큰 이점을 얻을 수 있는 상황은 어떤가?
• RQ4 오프라인 데이터셋이 대상 작업과 정렬되지 않았을 경우, 학습된 스킬 사후분포가 정책 학습을 효과적으로 유도할 수 있는가?
• RQ5 순수 이민팅 기반 또는 순수 강화학습 기반 접근법과 비교했을 때, 제안과 스킬 사전 지식을 통합한 방법은 수렴 속도와 최종 성능 측면에서 어떻게 다른가?

주요 결과

• SkiLD는 장기적인 시야를 가진 미로 탐색 및 로봇 조작 작업에서 BC+RL 및 SPiRL보다 훨씬 더 가속화된 학습과 더 높은 최종 성능을 달성한다.
• 이 방법은 훨씬 적은 수의 제안을 사용하여 효과적인 정책을 학습하며, 기존의 스킬 지식을 활용함으로써 저샷 제안 데이터에 대해 강건함을 입증한다.
• 아블레이션 연구 결과, 판별자 보상 보너스를 제거하면 수렴 속도가 느려지고, 스킬 사전 지식을 학습된 사후분포로 대체할 경우 분포 불일치로 인해 실패함을 확인했다.
• 오프라인 데이터셋이 대상 작업과 잘 정렬되어 있지 않은 경우, SkiLD는 제안을 통해 스킬 사전 지식을 수정하고 정책이 작업 관련 행동으로 유도되도록 함으로써 SPiRL을 초월한다.
• 오프라인 데이터에 이미 작업 관련 스킬이 포함되어 있지 않은 경우에 특히 효과적이며, 이는 낮은 데이터, 높은 변동성이 있는 환경에서의 가치를 드러낸다.
• 순수 이민팅 설정(환경 보상 없음)에서도 SkiLD는 효과적으로 일반화되며, 스킬 기반 정책 학습 프레임워크의 강건성을 보여준다.