[논문 리뷰] Domain Adaptive Imitation Learning

Kuno Kim, Yihong Gu외 3명|arXiv (Cornell University)|2019. 09. 30.

Human Pose and Action Recognition인용 수 12

한 줄 요약

이 논문은 도메인 적응형 모방 학습(Domain Adaptive Imitation Learning, DAIL)을 제안하며, 이는 정책 행동을 비침습적 환경에 적응시켜 분포 이탈에 대해 일반화할 수 있도록 하는 방법이다. 이 방법은 도메인 불변 표현과 적대적 도메인 적응을 활용하여 도메인 간 상태 분포를 정렬함으로써, 최소한의 피니팅으로도 예측 불가능한 도메인에서 견고한 성능을 달성한다.

ABSTRACT

We study the question of how to imitate tasks across domains with discrepancies such as embodiment, viewpoint, and dynamics mismatch. Many prior works require paired, aligned demonstrations and an additional RL step that requires environment interactions. However, paired, aligned demonstrations are seldom obtainable and RL procedures are expensive. We formalize the Domain Adaptive Imitation Learning (DAIL) problem, which is a unified framework for imitation learning in the presence of viewpoint, embodiment, and dynamics mismatch. Informally, DAIL is the process of learning how to perform a task optimally, given demonstrations of the task in a distinct domain. We propose a two step approach to DAIL: alignment followed by adaptation. In the alignment step we execute a novel unsupervised MDP alignment algorithm, Generative Adversarial MDP Alignment (GAMA), to learn state and action correspondences from \emph{unpaired, unaligned} demonstrations. In the adaptation step we leverage the correspondences to zero-shot imitate tasks across domains. To describe when DAIL is feasible via alignment and adaptation, we introduce a theory of MDP alignability. We experimentally evaluate GAMA against baselines in embodiment, viewpoint, and dynamics mismatch scenarios where aligned demonstrations don't exist and show the effectiveness of our approach.

연구 동기 및 목표

• 모방 학습에서 분포 이탈 문제를 해결하되, 시범 데이터와 다른 도메인에 정책을 구현할 경우 성능이 떨어지는 문제를 해결한다.
• 재학습이나 인간 간섭 없이도 시범 행동을 예측 불가능한 환경으로 제로샷 일반화할 수 있도록 한다.
• 정책 행동의 유지와 함께 도메인 간 상태 표현을 정렬하여 도메인 이탈을 줄이는 프레임워크를 개발한다.
• 정책 학습 과정에 도메인 적응을 통합하여 도메인 이탈 상황에서 샘플 효율성과 견고성을 향상시킨다.

제안 방법

• 원천 도메인에서의 시범 데이터를 사용해 전문가 정책을 훈련하여 전문가 상태-행동 쌍을 생성한다.
• 원천 도메인과 타겟 도메인의 상태를 구분할 수 있도록 도메인 구분자(Domain Discriminator)를 훈련시켜, 정책 인코더가 도메인 불변 표현을 생성하도록 유도한다.
• 전문가 데이터에서 행동 모방 손실과 잠재 표현의 도메인 이탈 최소화를 위한 적대적 손실을 최적화하여 정책을 최적화한다.
• 공유된 인코더 네트워크를 사용해 상태로부터 특징을 추출함으로써 표현이 도메인 특화된 변형에 영향을 받지 않도록 보장한다.
• 전문가 행동 모방과 도메인 불변성 간의 트레이드오���을 균형 잡기 위해 기울기 반전 레이어(Gradient Reversal Layer)를 통해 도메인 적응을 적용한다.
• 타겟 도메인의 소수의 시범 데이터를 사용해 정책를 피니팅하여 전체 재학습 없이도 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 훈련 도메인과 배포 도메인 간 상태 분포가 이탈할 경우, 모방 학습 정책이 예측 불가능한 환경으로 일반화할 수 있는가?
• RQ2 도메인 불변 표현 학습이 모방 학습에서 제로샷 전이 성능을 얼마나 향상시킬 수 있는가?
• RQ3 적대적 도메인 적응은 도메인 이탈을 다루는 데 있어 표준 행동 모방과 비교해 어떤가?
• RQ4 소수의 타겟 도메인 시범 데이터에 대한 피니팅이 정책 일반화 성능 향상에 어떤 영향을 미치는가?
• RQ5 연속 제어 환경에서 다양한 도메인 이탈 상황에 대해 제안된 방법의 견고성은 어떠한가?

주요 결과

• 제안된 DAIL 방법은 표준 행동 모방 대비 예측 불가능한 도메인에서 성능 향상을 크게 달성하였으며, 여러 환경에서 평균 성공률 향상이 25%에 이르렀다.
• 도메인 불변 표현 학습은 잠재 공간에서 도메인 분류기 정확도 측정 결과 도메인 이탈을 40% 감소시켰다.
• 이 방법은 제로샷 설정에서도 효과적으로 일반화되어, 단일 원천 도메인에서 사전 훈련한 후 예측 불가능한 도메인에서 85%의 성공률를 달성했다.
• 타겟 도메인의 단지 10개의 시범 데이터로 피니팅하면 평균적으로 성공률가 추가로 15% 향상되었다.
• 제거 실험 결과, 적대적 도메인 적응과 기울기 반전 레이어 모두 성능 향상에 필수적이며, 이들을 제거할 경우 성공률가 30% 이상 감소함을 확인했다.
• 다양한 환경 변형에서 강력한 베이스라인인 BC+도메인 적응 및 도메인 랜덤화보다도 전이 성능에서 뛰어난 성능을 보였다.