[논문 리뷰] Augmenting GAIL with BC for sample efficient imitation learning

Rohit Jena, Changliu Liu외 1명|arXiv (Cornell University)|2020. 01. 21.

Reinforcement Learning in Robotics참고 문헌 32인용 수 7

한 줄 요약

이 논문은 샘플 효율적인 타깃 학습을 달성하기 위해 행동 복제(BC)와 생성적 적대적 모방 학습(GAIL)을 단순하고 안정적인 방식으로 융합하는 방법을 제안한다. BC의 빠른 수렴 특성과 GAIL의 분포 일치 능력을 통합함으로써, GAIL 대비 환경 상호작용 횟수를 최대 한 단계 줄이며, 저차원 및 고차원 제어 작업 전반에서 최적 성능을 유지한다.

ABSTRACT

Imitation learning is the problem of recovering an expert policy without access to a reward signal. Behavior cloning and GAIL are two widely used methods for performing imitation learning. Behavior cloning converges in a few iterations but doesn't achieve peak performance due to its inherent iid assumption about the state-action distribution. GAIL addresses the issue by accounting for the temporal dependencies when performing a state distribution matching between the agent and the expert. Although GAIL is sample efficient in the number of expert trajectories required, it is still not very sample efficient in terms of the environment interactions needed for convergence of the policy. Given the complementary benefits of both methods, we present a simple and elegant method to combine both methods to enable stable and sample efficient learning. Our algorithm is very simple to implement and integrates with different policy gradient algorithms. We demonstrate the effectiveness of the algorithm in low dimensional control tasks, gridworlds and in high dimensional image-based tasks.

연구 동기 및 목표

• GAIL의 환경 상호작용 수가 많음에도 불구하고 전문가 트레이젝터리에 대한 샘플 요구량이 낮다는 점을 해결하기 위해.
• 상태-행동 분포에 대해 i.i.d. 가정을 하는 데 기인한 누적 오차와 낮은 일반화 성능 문제를 해결하기 위해.
• 사전학습에 의존하지 않고 BC와 GAIL의 장점을 융합한 통합된 온폴리시 타깃 학습 프레임워크를 개발하기 위해.
• 저차원 제어 및 고차원 이미지 기반 환경 모두에서 안정성과 수렴 속도를 향상시키기 위해.
• GAIL 목표 함수에 BC를 정규화 항으로 통합할 경우, 표준 사전학습 전략보다 더 빠르고 안정적인 학습이 이루어지는지 확인하기 위해.

제안 방법

• 행동 복제 손실과 GAIL의 적대적 보상 신호를 융합한 하이브리드 손실을 도입한다.
• 정책은 정책 그래디언트 알고리즘을 사용해 학습되며, 병합된 목표 함수를 갖는다: 즉각적인 성능 향상을 위한 지도 학습 기반 BC 손실과 장기적인 분포 일치를 위한 GAIL의 디스criminator 기반 보상 신호.
• 계수 α는 BC와 GAIL 구성 요소 간의 트레이드오프를 제어하며, α=1은 순수한 BC에 해당하고 α=0은 순수한 GAIL에 해당한다.
• 이 방법은 다양한 정책 그래디언트 알고리즘과 호환되며, 최소한의 수정으로 오프폴리시 설정으로도 확장 가능하다.
• GAIL의 디스criminator는 전문가의 상태-행동 쌍과 에이전트가 생성한 쌍을 구분하도록 훈련되어 정책 최적화를 위한 보상 신호를 제공한다.
• 이 방법은 오프폴리시 리PLAY 버퍼와 지속적인 데이터 저장을 피하므로, 안전이 중요한 또는 개인정보가 민감한 응용 분야에 적합하다.

실험 결과

연구 질문

• RQ1 행동 복제와 GAIL을 융합함으로써, 최종 성능을 훼손하지 않고도 환경 상호작용 횟수를 줄일 수 있는가?
• RQ2 BC의 수렴 속도가 빠른데도 불구하고, GAIL로 미세조정할 때 BC 사전학습이 실패하는 이유는 무엇인가?
• RQ3 GAIL 목표 함수에 BC를 정규화 항으로 통합할 경우, 순수한 GAIL이나 BC 사전학습보다 더 빠르고 안정적인 학습이 이루어지는가?
• RQ4 GAIL이 불안정한 것으로 알려진 고차원 이미지 기반 환경에서 이 방법의 성능은 어떠한가?
• RQ5 이 방법은 저차원 제어, 그리드월드, 연속 제어 작업을 포함한 다양한 환경에서 성능 향상을 유지할 수 있는가?

주요 결과

• 그리드월드 환경에서, 제안된 방법은 모든 그리드 크기(8×8, 10×10, 12×12)에서 GAIL과 행동 복제를 모두 능가하며 샘플 효율성 향상이 일관되게 관찰되었다.
• 12×12 그리드에서, 희소 보상이 적용된 REINFORCE는 3000만 단계 후에 GAIL 성능의 약 70%에 그치지만, 제안된 방법은 훨씬 빠르게 GAIL의 성능을 따라하거나 초월했다.
• 자동차 레이싱 환경에서, 제안된 방법은 평균 점수 732.55 ± 45.73을 기록하여 GAIL(419.82 ± 198.61)과 BC+GAIL(594.86 ± 263.12)을 모두 능가했으며, 전문가의 점수 740.42 ± 86.36에 가까워졌다.
• 이미지 기반 작업에서, GAIL 대비 환경 상호작용 횟수를 최대 한 단계 줄였고, 상당히 적은 롤아웃 수로 전문가 수준의 성능에 근접했다.
• BC로 사전학습한 후 GAIL로 미세조정하는 전략은 완전히 실패했으며, 성능이 0으로 붕괴되었다. 이는 전문가 시연로 초기화된 BC 정책이 GAIL을 통해 효과적으로 미세조정될 수 없다는 것을 시사한다.
• 이 방법은 MuJoCo, 그리드월드, 이미지 기반 제어 작업을 포함한 다양한 정책 그래디언트 알고리즘과 환경에서 안정성과 일관된 성능 향상을 보였다.