[논문 리뷰] Watch, Try, Learn: Meta-Learning from Demonstrations and Reward

Allan Zhou, Eric Jang외 8명|arXiv (Cornell University)|2019. 06. 07.

Reinforcement Learning in Robotics참고 문헌 39인용 수 17

한 줄 요약

이 논문은 단 한 번의 시연와 이진 성공/실패 피드백을 통해 빠르게 새로운 시각 기반 조작 스킬을 습득할 수 있도록 하는 메타학습 프레임워크인 Watch, Try, Learn(WTL)을 제안한다. 메타모방 학습과 시행착오 기반 강화 학습을 결합함으로써 WTL은 이전 방법들보다 훨씬 뛰어난 소수의 학습 성능을 보이며, 한 번의 시범과 한 번의 시도만으로도 새로운 작업에 대해 42%의 성공률을 달성했고, 메타모방 학습 기반 기준 30%와 비교해 뚜렷한 우월성을 보였다. 행동 복제 기반 기술은 광범위한 미세조정이 필요했지만, 성공률는 11~39%에 그쳤다.

ABSTRACT

Imitation learning allows agents to learn complex behaviors from demonstrations. However, learning a complex vision-based task may require an impractical number of demonstrations. Meta-imitation learning is a promising approach towards enabling agents to learn a new task from one or a few demonstrations by leveraging experience from learning similar tasks. In the presence of task ambiguity or unobserved dynamics, demonstrations alone may not provide enough information; an agent must also try the task to successfully infer a policy. In this work, we propose a method that can learn to learn from both demonstrations and trial-and-error experience with sparse reward feedback. In comparison to meta-imitation, this approach enables the agent to effectively and efficiently improve itself autonomously beyond the demonstration data. In comparison to meta-reinforcement learning, we can scale to substantially broader distributions of tasks, as the demonstration reduces the burden of exploration. Our experiments show that our method significantly outperforms prior approaches on a set of challenging, vision-based control tasks.

연구 동기 및 목표

• 시범만으로는 작업 수행의 모호성이 존재해 효과적인 시각 기반 정책 학습이 어려운 소수의 학습 도전 과제를 해결하기 위해.
• 시행착오 경험에서의 희박한 보상 피드백을 활용해 시범을 초월해 성능을 향상시킬 수 있도록 에이전트를 가능하게 하기 위해.
• 메타모방 학습과 메타강화 학습을 결합하여 더 넓은 작업 분포로 확장하면서도 샘플 효율성을 유지하기 위해.
• 새로운, 알려지지 않은 환경에서 시범과 시도를 통해 정책을 추론하고 개선하는 통합된 메타학습 프레임워크를 개발하기 위해.
• 전문가 데이터의 대규모 집합에 의존하지 않고도 비전문가 사용자가 시범과 피드백을 통해 에이전트에게 새로운 작업을 가르칠 수 있도록 하기 위해.

제안 방법

• 이 방법은 다양한 작업에 대해 훈련하는 메타러닝 기반의 학습자가 있으며, 두 단계의 내부 루프를 통해 새로운 작업에 신속하게 적응한다: 첫 번째 단계는 단일 시범을 관찰하는 것이고, 두 번째 단계는 이진 보상 피드백을 받으며 작업을 시도하는 것이다.
• 시범 인코더는 단일 시범에서 작업 수준의 정보를 추출하며, 이 인코딩된 시범과 현재 관측값에 따라 시도 정책이 행동을 생성한다.
• 시도 정책는 후행 표본 추출 전략을 사용하여 다양한 행동을 탐색하도록 훈련되며, 시범에 의해 탐색 비용을 줄이도록 안내된다.
• 메타러닝 기반의 학습자는 공유 정책 초기화 및 적응 메커니즘을 최적화하여, 단 한 번의 시범과 한 번의 시도 에피소드만으로도 새로운 작업에 신속하게 적응할 수 있도록 한다.
• 프레임워크는 시각 기반 관측 공간을 사용하며, 이미지 관측값은 100×100 크기로 자르고 조정하여 정책 네트워크의 입력으로 사용한다.
• 시범과 강화 학습을 통합하여 시범을 통해 탐색 공간을 형상화하고, 희박한 보상 피드백을 통해 시행착오 경험을 통해 정책를 개선한다.

실험 결과

연구 질문

• RQ1 에이전트는 단 한 번의 시범과 이진 보상 피드백을 통해 단 한 번의 시행만으로도 새로운 시각 기반 제어 작업을 학습할 수 있는가?
• RQ2 시범과 시행 피드백을 통합함으로써 순수한 모방 학습 또는 강화 학습에 비해 소수의 일반화 성능가 향상되는가?
• RQ3 메타학습을 통해 단일 모델이 다양한 조작 작업, 새로운 물체 및 작업 변형에 대해 일반화할 수 있는가?
• RQ4 시범과 시행 경험의 통합이 행동 복제 기반 미세조정에 비해 더 빠르고 샘플 효율적인 정책 학습을 이끌 수 있는가?
• RQ5 성공률와 샘플 효율성 측면에서 제안된 방법은 메타모방 학습 및 메타강화 학습과 비교해 어떻게 성능을 내는가?

주요 결과

• Watch-Try-Learn(WTL) 방법은 단 한 번의 시범과 한 번의 시행만으로도 새로운 메타테스트 작업에서 42%의 성공률를 달성했으며, 이는 메타모방 학습(MIL) 기준 30%보다 뚜렷한 우월성을 보였다.
• WTL은 SAC를 사용해 미세조정한 행동 복제 기반 기술보다 뛰어났으며, 2,500회의 시행 에피소드가 필요로 한 39%의 성공률에 비해, WTL은 단 한 번의 시행만으로 42%의 성공률를 달성했다.
• 시각 기반 작업에서 WTL은 버튼 누르기, 집기, 밀기, 집어서 옮기기 등 네 가지의 명확한 작업 유형에서 강력한 성능를 유지하며 광범위한 일반화 능력을 입증했다.
• 단 한 번의 시범과 한 번의 시행 에피소드만으로도 42%의 성공률를 달성하여, 단일 시범에 존재하는 모호성을 효과적으로 해결했다는 것을 시사한다.
• 제거 실험 결과, 시범과 시행 피드백 둘 다 필수적임을 확인했으며, 둘 중 하나를 제거하면 성능가 크게 하락했다.
• 상태공간 감독 없이도 원시 픽셀 관측값에서 정책을 성공적으로 학습시켜, 시각 기반 제어에서 엔드 투 엔드 메타학습의 실현 가능성을 입증했다.