[논문 리뷰] Generalization Guarantees for Imitation Learning

Allen Z. Ren, Sushant Veer외 1명|arXiv (Cornell University)|2020. 08. 05.

Human Pose and Action Recognition참고 문헌 39인용 수 6

한 줄 요약

이 논문은 새로운 환경에 배포된 정책에 대한 엄밀한 일반화 보장을 제공하기 위해 PAC-Bayes 이론을 활용하는 이중 단계 강화 학습 프레임워크를 제안한다. 먼저 전문가의 시범 데이터를 기반으로 조건부 Variational Autoencoder (cVAE)를 사용해 다중 모달 전제 분포를 학습한 후, 새로운 환경에서 PAC-Bayes 경계를 사용해 이를 미세 조정함으로써, 시뮬레이션 및 하드웨어 환경에서 시각 기반의 조작 및 주행 작업 전반에 걸쳐 뛰어난 경험적 성능과 날카로운 일반화 경계를 달성한다.

ABSTRACT

Control policies from imitation learning can often fail to generalize to novel environments due to imperfect demonstrations or the inability of imitation learning algorithms to accurately infer the expert's policies. In this paper, we present rigorous generalization guarantees for imitation learning by leveraging the Probably Approximately Correct (PAC)-Bayes framework to provide upper bounds on the expected cost of policies in novel environments. We propose a two-stage training method where a latent policy distribution is first embedded with multi-modal expert behavior using a conditional variational autoencoder, and then "fine-tuned" in new training environments to explicitly optimize the generalization bound. We demonstrate strong generalization bounds and their tightness relative to empirical performance in simulation for (i) grasping diverse mugs, (ii) planar pushing with visual feedback, and (iii) vision-based indoor navigation, as well as through hardware experiments for the two manipulation tasks.

연구 동기 및 목표

• 풍부한 감각 입력과 복잡한 동역학을 갖는 로봇 시스템에 대해 이중 학습에서 일반화 보장이 부족한 문제를 해결하기 위해.
• 새로운, 이전에 본 적이 없는 환경에서 이중 학습 정책의 강력한 기대 성능을 보장하는 방법을 개발하기 위해.
• PAC-Bayes 이론을 이중 학습에 통합하여 비어 있지 않은, 실용적인 일반화 경계를 제공하기 위해.
• 다양한 로봇 작업, 특히 조작 및 시각 기반 주행 작업 전반에 걸쳐 접근법의 효과성을 입증하기 위해.
• 시뮬레이션과 실제 하드웨어 실험을 통해 프레임워크를 검증하기 위해.

제안 방법

• 조건부 Variational Autoencoder (cVAE)를 사용하여 다중 모달 전문가 시범 데이터를 잠재 전제 정책 분포로 매핑함으로써 다양한 행동 생성을 가능하게 한다.
• cVAE는 전문가 행동을 인코딩하는 잠재 변수에 대한 전제 분포를 학습하며, 예측된 행동과 전문가 행동 간의 교차 엔트로피 기반 복원 손실을 사용한다.
• 이중 단계 학습 파이프라인을 사용한다: 첫 번째 단계에서는 cVAE가 전문가 데이터 기반으로 전제를 학습하고, 두 번째 단계에서는 새로운 훈련 환경 세트를 사용해 전제를 미세 조정한다.
• 두 번째 단계에서, 잠재 변수에 대한 사후 분포를 최적화하여 PAC-Bayes 일반화 경계를 최소화함으로써, 새로운 환경에서의 기대 성능 향상을 명시적으로 목표로 한다.
• 일반화 경계는 PAC-Bayes 이론을 사용해 계산되며, 이는 새로운 환경에서 정책의 기대 비용에 대한 상한을 제공한다.
• 최종 정책는 정책에 대한 사후 분포이며, 사후 분포에서 샘플링된 각각의 정책은 서로 다른 행동을 생성하고, 경계는 전체 분포와 연관된다.

실험 결과

연구 질문

• RQ1 복잡한 로봇 환경에서 이중 학습 정책에 대해 PAC-Bayes 이론을 효과적으로 적용하여 비어 있지 않은 일반화 경계를 제공할 수 있는가?
• RQ2 cVAE를 통한 다중 모달 전제 학습은 일반화 경계 최적화의 미세 조정 단계에서 수렴성과 성능을 얼마나 향상시키는가?
• RQ3 이론적 일반화 경계가 다양한 작업 전반에서 새로운 환경에서의 경험적 성능과 얼마나 밀접하게 관련되어 있는가?
• RQ4 제안된 프레임워크는 특히 시각 기반 조작 작업에서 실제 하드웨어 배포 시 강력한 일반화 성능를 달성할 수 있는가?
• RQ5 두 환경(훈련 및 새로운 환경)이 동일한 알려지지 않은 분포에서 유래된다고 가정할 때, 프레임워크는 분포 이탈을 어떻게 다루는가?

주요 결과

• 500개의 훈련 환경에서 미세 조정을 거친 사후 정책는 새로운 실내 주행 환경에서 79.1%의 성공률을 기록했으며, 전제의 65.4% 성공률을 크게 상회했다.
• 1000개의 훈련 환경을 사용한 결과, 사후 정책는 추정 성공률 79.9%를 달성하여 강력한 경험적 일반화를 입증했다.
• 사후 정책의 PAC-Bayes 일반화 경계는 0.741(즉, 1 - C_bound* = 0.741)이었으며, 이는 기대 비용이 경계에 둘러싸여 있을 확률이 74.1%임을 의미한다.
• 일반화 경계는 다양한 훈련 세트 크기에서 경험적 성공률과 밀접하게 일치하여 날카로운 경계임이 입증되었다.
• 다중 모달 전제는 단일 모달 전제보다 수렴 속도가 빠르고 최종 성능이 향상되었으며, 궤적 다양성과 성공률 비교를 통해 이를 확인했다.
• Franka Panda 암을 대상으로 한 하드웨어 실험을 통해 시뮬레이션 결과를 검증하였으며, 실제 조작 작업에서 프레임워크의 강건성과 일반화 능력이 입증되었다.