[논문 리뷰] Triple-GAIL: A Multi-Modal Imitation Learning Framework with Generative Adversarial Nets

Cong Fei, Bin Wang외 6명|arXiv (Cornell University)|2020. 05. 19.

Human Pose and Action Recognition참고 문헌 16인용 수 5

한 줄 요약

Triple-GAIL는 생성적 적대적 네트워크에 보조 기술 선택기(스킬 세lector)를 통합하여 기술 선택과 행동 클로닝을 동시에 학습하는 다중모달 임의의 학습 프레임워크를 제안한다. 생성자, 판별자, 선택기의 삼중 적대적 게임을 도입함으로써 다중모달 행동을 모델링하는 데 뛰어난 성능을 달성하였으며, 주행 및 RTS 게임 벤치마크에서 각각 73.9% 및 76.3%의 승률로 최신 기술(SOTA)을 초월한다.

ABSTRACT

Generative adversarial imitation learning (GAIL) has shown promising results by taking advantage of generative adversarial nets, especially in the field of robot learning. However, the requirement of isolated single modal demonstrations limits the scalability of the approach to real world scenarios such as autonomous vehicles' demand for a proper understanding of human drivers' behavior. In this paper, we propose a novel multi-modal GAIL framework, named Triple-GAIL, that is able to learn skill selection and imitation jointly from both expert demonstrations and continuously generated experiences with data augmentation purpose by introducing an auxiliary skill selector. We provide theoretical guarantees on the convergence to optima for both of the generator and the selector respectively. Experiments on real driver trajectories and real-time strategy game datasets demonstrate that Triple-GAIL can better fit multi-modal behaviors close to the demonstrators and outperforms state-of-the-art methods.

연구 동기 및 목표

• 실세계 시나리오에서 적응적인 기술 선택이 요구되는 상황에서 단일모달 임의의 학습의 한계를 해결한다.
• 전문가 시연에서 다중 행동 모드를 명시적으로 모델링함으로써 GAIL에서 발생하는 모드 붕괴 문제를 해결한다.
• 사전 레이블링된 시범 데이터에 의존하지 않고 기술 선택과 정책 생성을 공동 최적화할 수 있도록 한다.
• 다중모달 환경에서 생성자와 선택기의 이론적 수렴 보장을 제공한다.
• 보조 감독 신호를 통한 엔드 투 엔드 훈련을 통해 레이블 조건부 임의의 학습 작업의 성능을 향상시킨다.

제안 방법

• 세 가지 구성요소로 이루어진 삼중 적대적 프레임워크를 도입한다: 생성자(정책), 판별자(대체 보상), 보조 기술 선택기.
• 생성자는 기술 레이블 조건 하에 상태-행동 쌍을 생성하고, 선택기는 주어진 상태에 대해 올바른 기술 레이블을 예측한다.
• 판별자는 전문가 트레이젝터리(상태-행동-레이블 삼중조)와 생성된 트레이젝터리를 구분하여 정책 최적화를 위한 보상 신호를 제공한다.
• 선택기의 정확도 향상을 위해 전문가 시범 데이터에 대한 교차 엔트로피 손실을 사용하여 보조 학습을 수행한다.
• 정책 탐색을 위한 엔트로피 정규화와 기술 표현의 분리된 특성 확보를 위한 상호정보량 최대화를 포함한 정규화된 목표 함수를 적용한다.
• 이론적 수렴 보장이 있는 적대적 최적화를 통해 생성자와 선택기를 엔드 투 엔드로 동시에 훈련한다.

실험 결과

연구 질문

• RQ1 다중모달 임의의 학습 프레임워크는 모드 붕괴를 피하면서 기술 선택과 행동 클로닝을 동시에 최적화할 수 있는가?

주요 결과

• Mini-RTS 게임에서 Triple-GAIL는 SIMPLE 에이전트에 대해 73.9%의 승률, HIT-N-RUN 에이전트에 대해 68.3%의 승률을 기록하여 모든 베이스라인을 압도한다.
• Triple-GAIL의 선택기는 주행 기술을 분류하는 데 90%의 정확도를 달성하여 CGAIL를 크게 능가하며, 공동 최적화의 이점을 입증한다.
• 교차 엔트로피 손실 항목 $ R_E $ 를 제거하면 선택기의 정확도가 감소함을 확인하여 전문가 시범 데이터에서 온 감독 신호의 중요성을 입증한다.
• 진짜 레이블을 사용한 Triple-GAIL + label 은 각각 78.9% 및 76.3%의 승률을 기록하여, 공동 최적화가 고정 모델을 뛰어넘는 이mitation 성능 향상을 이룬다는 것을 보여준다.
• 시각화 결과는 Triple-GAIL 에이전트가 상대의 행동에 따라 전술을 적응적으로 변화시킴을 확인한다. 예를 들어, 기습 공격에 대비해 사거리 탱크를 건설하거나, 조율된 공격을 수행한다.
• 이론적 분석을 통해 호환 가능한 유틸리티 함수 하에서 생성자와 선택기가 각각 최적점으로 수렴함을 확인하였으며, 이는 안정적인 훈련을 보장한다.