[논문 리뷰] Hindsight Generative Adversarial Imitation Learning

Naijun Liu, Tao Lü외 3명|arXiv (Cornell University)|2019. 03. 19.

Reinforcement Learning in Robotics참고 문헌 46인용 수 6

한 줄 요약

이 논문은 희망적 전환을 통한 자체 합성 전문가 유사 궤적을 활용하여 전문가 시범 없이 제어 정책을 훈련시킬 수 있도록 하는 새로운 이민화 학습 프레임워크인 희망적 생성 대비 이민화 학습(HGAIL)을 제안한다. GAIL 프레임워크에 희망적 경험 재생을 통합함으로써 HGAIL은 에이전트의 자체 롤아웃에서 고품질의 과제 관련 시범을 동적으로 생성하여 안정적이고 샘플 효율적인 정책 학습을 가능하게 하며, 성능이 감독 이민화 방법과 유사한 내장된 커리큘럼 메커니즘을 갖춘다.

ABSTRACT

Compared to reinforcement learning, imitation learning (IL) is a powerful paradigm for training agents to learn control policies efficiently from expert demonstrations. However, in most cases, obtaining demonstration data is costly and laborious, which poses a significant challenge in some scenarios. A promising alternative is to train agent learning skills via imitation learning without expert demonstrations, which, to some extent, would extremely expand imitation learning areas. To achieve such expectation, in this paper, we propose Hindsight Generative Adversarial Imitation Learning (HGAIL) algorithm, with the aim of achieving imitation learning satisfying no need of demonstrations. Combining hindsight idea with the generative adversarial imitation learning (GAIL) framework, we realize implementing imitation learning successfully in cases of expert demonstration data are not available. Experiments show that the proposed method can train policies showing comparable performance to current imitation learning methods. Further more, HGAIL essentially endows curriculum learning mechanism which is critical for learning policies.

연구 동기 및 목표

• 이민화 학습에서 전문가 시범 데이터의 높은 비용과 부족함에 도전하기 위해.
• 어떤 전문가 시범도 없이 효과적인 정책 학습을 가능하게 하는 방법을 개발하기 위해.
• 훈련 중에 고품질의 과제 관련 시범 데이터를 자가학습적으로 생성하는 메커니즘을 도입하기 위해.
• 학습 과정에 암묵적 커리큘럼 메커니즘을 부여하여 학습 안정성과 정책 성능을 향상시키기 위해.
• 시뮬레이션에서 훈련된 정책를 추가 보정 없이 실제 로봇에 그대로 적용할 수 있는지 검증하기 위해.

제안 방법

• 희망적 경험 재생(HER)을 GAIL 프레임워크에 통합하여 롤아웃을 전문가 유사 궤적으로 변환한다.
• 판별기의 출력을 정책 최적화를 위한 보상 신호로 사용하며, 보상 함수는 $ r_1(s_t,a_t) = -\log(1 - \sigma(\text{dis}(s_t,a_t))) $ 로 정의된다.
• 에이전트의 자체 롤아웃을 음성 샘플로, 후회 전환된 궤적을 양성 샘플로 간주하여 GAN 판별기 훈련에 활용한다.
• 다양한 훈련 단계에서 후회 전환을 동적으로 적용하여 점차 더 정확한 합성 시범을 생성한다.
• 더 쉬운 초기 롤아웃부터 먼저 전환하는 커리큘럼 학습 메커니즘을 적용하여 점차 품질과 복잡도를 높인다.
• 외부 전문가 시범이 아닌 환경 상호작용 데이터(롤아웃)만을 사용하여 메서드를 완전히 자가학습적으로 만든다.

실험 결과

연구 질문

• RQ1 전문가 시범 데이터가 전혀 없이도 이민화 학습을 성공적으로 수행할 수 있는가?
• RQ2 후회 전환이 에이전트의 자체 롤아웃에서 고품질의 합성 전문가 시범을 효과적으로 생성할 수 있는가?
• RQ3 후회 궤적의 동적 합성은 정책 학습의 안정성과 성능을 향상시키는 암묵적 커리큘럼을 만들어내는가?
• RQ4 HGAIL을 통해 훈련된 정책는 추가 보정 없이도 실제 로봇 시스템에 일반화 가능한가?
• RQ5 보상 함수의 선택이 HGAIL 프레임워크 내에서 학습된 정책의 수렴성과 성능에 미치는 영향은 어떠한가?

주요 결과

• HGAIL 알고리즘은 전문가 시범이 전혀 없이도 성능이 표준 이민화 학습 방법과 유사한 정책을 성공적으로 훈련시켰다.
• 실제 도달 작업에서 HGAIL로 훈련된 정책는 성공률 $ 0.95 \pm 0.03 $ 과 거리 오차 $ 0.01 \pm 0.01 $m를 기록했다.
• 실제 집기 작업에서는 성공률 $ 0.93 \pm 0.04 $ 과 거리 오차 $ 0.02 \pm 0.01 $m를 기록하여 뛰어난 시뮬레이션에서 실제로의 전이 성능를 보였다.
• 보상 함수 $ r_1(s_t,a_t) = -\log(1 - \sigma(\text{dis}(s_t,a_t))) $ 는 성공률과 거리 오차 측면에서 가장 빠른 수렴과 최고의 전반적 성능를 이끌었다.
• 후회 전환의 커리큘럼 유사 진전이 정책 성능을 크게 향상시켜 암묵적 커리큘럼 메커니즘의 중요성을 입증했다.
• 이 메서드는 샘플 효율적이며, 외부 데이터나 시범이 필요 없이 에이전트의 환경 상호작용 데이터(롤아웃)만으로도 작동한다.