[논문 리뷰] Parrot: Data-Driven Behavioral Priors for Reinforcement Learning

Avi Singh, Huihan Liu외 4명|arXiv (Cornell University)|2020. 11. 19.

Reinforcement Learning in Robotics참고 문헌 75인용 수 27

한 줄 요약

PARROT는 다양한 이전 작업들로부터의 성공적인 트리제토리얼을 이용해 노이즈 벡터에서 복잡하고 고차원적인 동작으로의 가역적 맵핑을 학습하여 강화학습을 위한 데이터 기반 행동 사전을 도입한다. 이 사전는 이미지 관측치와 희소 보상에서 새로운 로봇 조작 작업을 빠르고 샘플 효율적으로 학습할 수 있게 하며, 표준 RL이 실패하는 도전적인 환경에서 이전 방법들보다 크게 슈퍼리어하다.

ABSTRACT

Reinforcement learning provides a general framework for flexible decision making and control, but requires extensive data collection for each new task that an agent needs to learn. In other machine learning fields, such as natural language processing or computer vision, pre-training on large, previously collected datasets to bootstrap learning for new tasks has emerged as a powerful paradigm to reduce data requirements when learning a new task. In this paper, we ask the following question: how can we enable similarly useful pre-training for RL agents? We propose a method for pre-training behavioral priors that can capture complex input-output relationships observed in successful trials from a wide range of previously seen tasks, and we show how this learned prior can be used for rapidly learning new tasks without impeding the RL agent's ability to try out novel behaviors. We demonstrate the effectiveness of our approach in challenging robotic manipulation domains involving image observations and sparse reward functions, where our method outperforms prior works by a substantial margin.

연구 동기 및 목표

• 새로운 작업을 위한 강화학습의 높은 데이터 요구량 문제를 이전 경험을 활용하여 해결하기 위해.
• 자연어처리 및 컴퓨터비전에서의 사전학습 모델이 수행하는 역할을 모방하는 RL을 위한 사전학습 프레임워크를 개발하기 위해.
• 다양한 작업들에서 성공적인 시도들로부터 입력-출력 관계를 포착하는 행동 사전을 학습하기 위해.
• 새로운 환경에서 효과적으로 탐색하면서도 새로운 행동들을 완전히 제어할 수 있도록 하기 위해.
• 희소 보상이 주어지는 로봇 조작 작업에서 샘플 효율성을 향상시키기 위해.

제안 방법

• 성공적인 트리제토리얼에서 관측된 동작의 조건부 로그우도를 최대화하는 방식으로, 단위 가우시안 노이즈에서 환경 동작으로의 가역적 정규화 플로우를 훈련시켜, 환경 동작로의 맵핑을 학습한다.
• 보상 레이블 없이 다양한 조작 작업들에서의 근사 최적 상태-행동 트리제토리얼로 구성된 다중 작업 데이터셋을 사용한다.
• 현재 관측치를 조건으로 하여 학습된 맵핑을 사용해 새로운 환경에서 맥락에 맞는 동작을 생성한다.
• RL 에이전트가 단위 가우시안에서 샘플을 추출하고, 가역적 사전을 통해 동작를 생성함으로써 전체 동작 공간 커버리지를 유지한다.
• 맵핑의 가역성을 활용해, 데이터셋에서 드물게 관측되더라도 원래의 환경 동작들이 모두 접근 가능하도록 보장한다.
• 오프-폴리시 RL(예: SAC)을 통해 사전을 미세조정하여 새로운 작업에 적응하면서도 사전의 탐색 편향을 유지한다.

실험 결과

연구 질문

• RQ1 다양한 이전 작업들로부터 학습된 데이터 기반 행동 사전이 새로운 로봇 조작 작업에서의 강화학습을 가속화할 수 있는가?
• RQ2 사전의 가역적 구조가 희소 보상 환경에서 탐색과 정책 학습 효율성에 어떤 영향을 미치는가?
• RQ3 사전가 얼마나 이전에 본 적 없는 물체를 포함한 작업들로 일반화되는가?
• RQ4 데이터셋 크기와 분포는 행동 사전의 성능에 어떤 영향을 미치는가?
• RQ5 하류 작업이 훈련 작업과 크게 다를 경우, 특히 필요한 동작 측면에서 어떤 일이 발생하는가?

주요 결과

• PARROT는 행동 클로닝, TrajRL, HIRL과 같은 이전 방법들보다 이미지 관측치와 희소 보상에서 새로운 조작 작업을 학습하는 데서 뚜렷한 슈퍼리어리티를 보인다.
• 표준 RL이 완전히 실패하는, 이전에 본 적 없는 물체를 포함한 작업들에서도 높은 성공률를 달성한다.
• 10,000개의 트리제토리얼만으로도 강력한 성능을 보이며, 25,000개 트리제토리얼을 초과하면 수익 감소 효과가 나타난다.
• 그러나 잡기 작업만으로 사전을 훈련한 경우, 그립퍼를 열기 위한 동작이 훈련 데이터에 없기 때문에, 픽업앤플레이스 작업에는 실패한다.
• 비가역적 사전을 사용하는 아블레이션 Prior-explore 는 불안정한 학습과 느린 수렴을 보이며, 가역성의 중요성을 입증한다.
• 행동 사전은 무작위 정책보다 초기 탐색을 더 빠르게 하지만, 핵심적인 이점은 표현력이 뛰어나고 가역적인 표현 덕분에 초반 성능 이후 지속적인 향상이 이루어지는 데 있다.