[논문 리뷰] Watch, Try, Learn: Meta-Learning from Demonstrations and Rewards

Allan Zhou, Eric Jang외 8명|arXiv (Cornell University)|2020. 04. 30.

Reinforcement Learning in Robotics참고 문헌 37인용 수 9

한 줄 요약

이 논문은 최소한의 데이터로 새로운 시각 기반 제어 작업에 신속하게 적응할 수 있도록 도와주는 메타학습 프레임워크를 제안한다. 시뮬레이션된 행동 모방과 희박한 보상 신호를 결합함으로써, 기존의 메타모방학습 및 메타강화학습 접근법보다 우수한 일반화 능력과 샘플 효율성을 달성한다.

ABSTRACT

Imitation learning allows agents to learn complex behaviors from demonstrations. However, learning a complex vision-based task may require an impractical number of demonstrations. Meta-imitation learning is a promising approach towards enabling agents to learn a new task from one or a few demonstrations by leveraging experience from learning similar tasks. In the presence of task ambiguity or unobserved dynamics, demonstrations alone may not provide enough information; an agent must also try the task to successfully infer a policy. In this work, we propose a method that can learn to learn from both demonstrations and trial-and-error experience with sparse reward feedback. In comparison to meta-imitation, this approach enables the agent to effectively and efficiently improve itself autonomously beyond the demonstration data. In comparison to meta-reinforcement learning, we can scale to substantially broader distributions of tasks, as the demonstration reduces the burden of exploration. Our experiments show that our method significantly outperforms prior approaches on a set of challenging, vision-based control tasks.

연구 동기 및 목표

• 복잡한 시각 기반 작업에서 모의학습이 요구하는 대량의 시범 데이터의 한계를 해결하기 위해.
• 희박한 보상과 함께 시도와 실수의 경험을 통합하여 시범 데이터의 모호성을 해소하기 위해.
• 이전의 시범 학습과 상호작용을 통한 자율적 개선을 결합하여 다양한 작업 분포에 걸쳐 일반화할 수 있도록 하기 위해.
• 메타강화학습에서의 탐색 부담을 줄이기 위해 시범 데이터를 활용하여 정책 학습을 안내하기 위해.

제안 방법

• 시범 행동과 희박한 보상 신호를 동시에 최적화하는 메타모방학습 및 메타강화학습 프레임워크를 수립하기 위해.
• 적응 단계에서 소수의 시범 데이터와 희박한 보상 피드백을 사용하여 메타학습자가 정책 네트워크를 작업 간에 적응시키기 위해.
• 통합된 메타최적화 목표 함수 내에서 시범 데이터로부터의 행동 클로닝 손실과 희박한 보상 기반 강화학습 목표 함수를 통합하기 위해.
• 공유된 표현 기반 구조를 활용하여 관측값으로부터 시각적 특징을 추출함으로써, 유사한 시각적 작업 간의 전이를 가능하게 하기 위해.
• 다양한 작업 세트에서 메타학습자를 훈련시켜 추론 시에 미리 보지 않은 작업에 대해 제로샷 일반화 능력을 향상시키기 위해.
• 기울기 기반 메타학습 업데이트 규칙(예: MAML 스타일)을 적용하여 단일 시범과 희박한 보상으로부터 빠른 적응을 가능하게 하기 위해.

실험 결과

연구 질문

• RQ1 시범과 희박한 보상의 조합이 단순히 시범만을 사용하는 것보다 더 높은 메타모방학습 성능을 달성할 수 있는가?
• RQ2 시도와 실수의 경험을 통합함으로써 소수의 시각 기반 제어 작업에서 일반화 능력과 샘플 효율성이 얼마나 향상되는가?
• RQ3 순수한 메타모방학습 및 메타강화학습과 비교할 때, 제안된 방법은 성능 및 데이터 효율성 측면에서 어떻게 다른가?
• RQ4 더 넓은 작업 분포로 확장 가능할까? 동시에 신속한 적응과 높은 샘플 효율성을 유지할 수 있는가?

주요 결과

• 제안된 방법은 도전적인 시각 기반 제어 작업에서 기존의 메타모방학습 접근법보다 뚜렷이 뛰어난 성능을 보이며, 작업당 하나의 시범만 제공된 경우에도 성능이 뛰어나다.
• 메타강화학습보다 더 우수한 일반화 능력을 보이며, 시범 가이던스 덕분에 탐색 부담이 감소하기 때문이다.
• 희박한 보상 피드백의 통합은 에이전트가 초기 시범을 초월해 자율적으로 향상될 수 있도록 해주며, 모호성과 관측되지 않은 동역학을 수정할 수 있게 한다.
• 강력한 샘플 효율성을 보이며, 기준 방법보다 훨씬 적은 환경 상호작용으로 효과적인 정책을 학습할 수 있다.