[논문 리뷰] Sample-Efficient Imitation Learning via Generative Adversarial Nets

Lionel Blondé, Alexandros Kalousis|arXiv (Cornell University)|2018. 09. 06.

Reinforcement Learning in Robotics참고 문헌 53인용 수 21

한 줄 요약

이 논문은 SAM(Sample-efficient Adversarial Imitation Learning)을 제안하며, 이는 오프-폴리시 액터-크리틱 학습과 적대적으로 훈련된 서브스티튜트 보상(reward)을 조합하여 GAIL보다 훨씬 높은 샘플 효율성을 달성하는 모델-프리(imitation learning) 방법이다. 오프-폴리시 업데이트를 통해 과거 경험을 재사용하고, 결정론적 정책 기울기(gradient)를 활용하여, 연속 제어 과제에서 안정적이고 전문가 수준의 성능을 유지하면서도 환경 상호작용 횟수를 최대 두 계단 차수 감소시킨다.

ABSTRACT

GAIL is a recent successful imitation learning architecture that exploits the adversarial training procedure introduced in GANs. Albeit successful at generating behaviours similar to those demonstrated to the agent, GAIL suffers from a high sample complexity in the number of interactions it has to carry out in the environment in order to achieve satisfactory performance. We dramatically shrink the amount of interactions with the environment necessary to learn well-behaved imitation policies, by up to several orders of magnitude. Our framework, operating in the model-free regime, exhibits a significant increase in sample-efficiency over previous methods by simultaneously a) learning a self-tuned adversarially-trained surrogate reward and b) leveraging an off-policy actor-critic architecture. We show that our approach is simple to implement and that the learned agents remain remarkably stable, as shown in our experiments that span a variety of continuous control tasks. Video visualisations available at: \url{https://youtu.be/-nCsqUJnRKU}.

연구 동기 및 목표

• GAIL의 높은 샘플 복잡도로 인해 수렴하기 위해 과도한 환경 상호작용이 요구되는 문제를 해결하기 위해.
• 전문가 시범 데이터의 양에 의존하지 않고도 임의의 학습 효율성을 향상시키기 위해.
• 오프-폴리시 학습과 기울기 기반 정책 최적화를 조합하여 적대적 임의의 학습을 안정화하기 위해.
• 환경 상호작용이 비용이 많이 들거나 위험한 실세계 환경에서 빠른 구현을 가능하게 하기 위해.
• 오프-폴리시 액터-크리틱 방법이 모델-프리 프레임워크 내에서 GAN 기반 보상 학습과 효과적으로 조합될 수 있음을 보여주기 위해.

제안 방법

• SAM은 과거 전이(transitions)를 재사용하는 리PLAY 버퍼를 활용하는 오프-폴리시 액터-크리틱 아키텍처를 사용하여, 새로운 환경 상호작용에 대한 의존도를 줄인다.
• 생성적 적대적 네트워크(GAN) 프레임워크를 사용하여, 판별기(discriminator)가 전문가 시범 데이터와 전문가가 생성한 궤적을 구분한다.
• 정책은 결정론적 정책 기울기(DPG) 업데이트를 통해 훈련되며, 기울기 정보를 통해 보상 함수를 통해 역전파(backpropagation)가 가능하다.
• 자기 조정형 서브스티튜트 보상이 적대적으로 학습되어, 정책이 보상 신호의 기울기 정보를 기반으로 최적화할 수 있다.
• 정책 및 크리틱 네트워크에 레이어 정규화와 Pop-Art를 적용하여 훈련 안정성과 보상 척도 변화에 대한 내성적 저항력을 향상시킨다.
• 공정한 비교를 위해 GAIL과 동일한 공유 판별기 아키텍처를 사용하며, 병렬 훈련 인스턴스를 통해 수직 확장성(vertical scalability)을 제공한다.

실험 결과

연구 질문

• RQ1 오프-폴리시 학습이 임의의 학습에 필요한 환경 상호작용 횟수를 상당히 줄일 수 있는가?
• RQ2 적대적 보상 학습과 오프-폴리시 액터-크리틱 훈련을 조합하면 정책 안정성을 희생시키지 않고도 샘플 효율성을 향상시킬 수 있는가?
• RQ3 모델-프리 임의의 학습 프레임워크 내에서 보상 함수의 기울기 정보를 효과적으로 활용할 수 있는가?
• RQ4 다양한 연속 제어 과제에서 SAM은 GAIL에 비해 최종 성능과 수렴 속도 측면에서 어떻게 비교되는가?
• RQ5 임의의 학습에서 새로운 환경 상호작용이 필요한 정도를 줄이기 위해 과거 경험을 얼마나 효과적으로 재사용할 수 있는가?

주요 결과

• SAM은 GAIL에 비해 전문가 수준의 성능에 도달하기 위해 필요한 환경 상호작용 횟수를 최대 두 계단 차수 감소시켰다.
• Reacher 및 InverseDoublePendulum와 같은 환경에서는 SAM이 GAIL의 최종 성능을 일관되게 따라가거나 초월했으며, 일부 경우에서 GAIL은 전문가의 보상에 도달하지 못했다.
• 일반적으로 불안정성이 발생하기 쉬운 적대적 학습과 오프-폴리시 업데이트를 조합함에도 불구하고, SAM은 안정적인 훈련을 달성했다.
• SAM의 시간 차분 학습을 통한 정책 평가 방식은 GAIL의 전체 롤아웃이 필요한 몬테카를로 방법과는 달리, 각 업데이트당 몇 개의 전이만으로도 효율적인 정책 평가가 가능하게 했다.
• 제한된 시범 데이터 조건에서도 높은 성능를 유지하여 다양한 데이터셋 크기에서의 강건성을 입증했다.
• 리플레이 사용으로 인해 벽시계 기반 훈련 시간이 더 길어지지만, 환경 상호작용이 비용이 많이 들기 때문에 실세계 적용에서는 이 상호 교환 조건이 타당하다.