[논문 리뷰] To Follow or not to Follow: Selective Imitation Learning from Observations.

Youngwoon Lee, Edward S. Hu외 2명|arXiv (Cornell University)|2019. 01. 01.

Robot Manipulation and Learning인용 수 8

한 줄 요약

이 논문은 관찰만을 사용하여 시연에서 학습할 수 있도록 도와주는 선택적 시뮬레이션 학습(Selective Imitation Learning from Observations, SILO)을 제안한다. SILO는 시범에서 이룰 수 있는 상태들만 선택하여 모방함으로써, 에이전트의 환경나 능력이 전문가와 다를 경우에도 신뢰할 수 있는 작업 수행을 가능하게 한다. 이는 시뮬레이션 및 실제 로봇 환경 모두에서 성공을 거두었다.

ABSTRACT

Learning from demonstrations is a useful way to transfer a skill from one agent to another. While most imitation learning methods aim to mimic an expert skill by following the demonstration step-by-step, imitating every step in the demonstration often becomes infeasible when the learner and its environment are different from the demonstration. In this paper, we propose a method that can imitate a demonstration composed solely of observations, which may not be reproducible with the current agent. Our method, dubbed selective imitation learning from observations (SILO), selects reachable states in the demonstration and learns how to reach the selected states. Our experiments on both simulated and real robot environments show that our method reliably performs a new task by following a demonstration. Videos and code are available at this https URL .

연구 동기 및 목표

• 에이전트의 환경나 능력이 전문가의 시범과 다를 경우에도 시뮬레이션 학습의 과제를 해결하기 위해.
• 전문가의 행동 시퀀스가 필요 없이 관찰만을 사용하여 시뮬레이션 학습을 가능하게 하기 위해.
• 시범에서 이룰 수 있는 상태들만 선택하여 타당성과 성능을 향상시키는 방법을 개발하기 위해.
• 시뮬레이션 및 실제 로봇 환경 모두에서 안정적인 작업 수행을 가능하게 하기 위해.

제안 방법

• 에이전트의 현재 상태와 환경 역학을 기반으로 시범에서 이룰 수 있는 상태들을 선택한다.
• 에이전트가 시범에서 선택된 상태들에 도달하도록 학습하는 목표 조건부 강화 학습 문제로 시뮬레이션 학습 문제를 재구성한다.
• 이행 가능성 평가 메커니즘이 시범 내에서 에이전트가 도달할 수 있는 상태들을 판단한다.
• 선택된 상태들에 대해 시뮬레이션 손실을 사용하여 에이전트를 훈련시키며, 상태 분포 간 일반화를 위한 정책을 학습한다.
• 목표 상태에 조건부로 정책 네트워크를 사용하여 선택된 상태에 도달하는 데 필요한 행동을 예측한다.
• 전문가 행동이 포함되지 않은 관찰만으로 구성된 시범을 사용하여 종합적으로 훈련한다.

실험 결과

연구 질문

• RQ1 에이전트가 전문가 행동에 접근할 수 없고 관찰만을 사용할 때, 시범에서 제공된 관찰만으로 작업을 수행할 수 있는가?
• RQ2 에이전트의 능력과 환경를 고려할 때, 시범의 어떤 상태들이 실제로 도달 가능한지를 어떻게 식별할 수 있는가?
• RQ3 모든 상태를 모방하는 것과 비교해, 도달 가능한 상태들만 선택적으로 모방함으로써 성능 향상은 얼마나 이루어지는가?
• RQ4 제안된 방법은 시범과의 분포 이탈이 있는 실제 로봇 환경으로 일반화될 수 있는가?

주요 결과

• SILO는 전문가의 환경나 능력과 다를 경우에도 시범에서 이룰 수 있는 상태들만 선택적으로 모방함으로써 새로운 작업을 수행할 수 있도록 한다.
• 시뮬레이션 및 실제 로봇 환경 모두에서 안정적인 작업 수행을 달성하여 분포 이탈에 대한 강건성을 입증한다.
• 이행 가능한 상태들에 집중함으로써 도달 불가능한 목표로 인한 정책 붕괴 위험을 줄이고 학습 안정성을 향상시킨다.
• 모든 시범 단계를 따라하려는 기존의 시뮬레이션 학습 방법보다 성능이 뛰어나며, 특히 환경이 다를 경우에 유의미한 성능 향상을 보인다.
• 실험 결과, 선택적 모방 전략이 복잡한 조작 작업에서 높은 성공률과 더 빠른 수렴 속도를 이끌어낸다.
• 실제 로봇에 배포한 결과, 미세 조정을 최소로 요구하며 실세계 환경으로의 일반화 성능이 뛰어나다는 게 검증되었다.