[논문 리뷰] Provably Efficient Imitation Learning from Observation Alone

Wen Sun, Anirudh Vemula외 2명|arXiv (Cornell University)|2019. 05. 27.

Reinforcement Learning in Robotics참고 문헌 46인용 수 20

한 줄 요약

이 논문은 전문가의 관측값만 제공되는 관측값만으로의 모방 학습(ILfO)을 위한 모델-프리 알고리즘인 FAIL(Forward Adversarial Imitation Learning)을 제안한다. FAIL은 시간 단계에 걸쳐 전문가와 학습자 관측 분포 간의 통합 확률 거리(IPM)를 최소화하며, 관측 공간 크기와 무관한 샘플 복잡도를 갖기 때문에 샘플 효율성이 보장되며, 픽셀 입력과 같은 고차원 관측값을 갖는 대규모 MDP에 적합하다.

ABSTRACT

We study Imitation Learning (IL) from Observations alone (ILFO) in large-scale MDPs. While most IL algorithms rely on an expert to directly provide actions to the learner, in this setting the expert only supplies sequences of observations. We design a new model-free algorithm for ILFO, Forward Adversarial Imitation Learning (FAIL), which learns a sequence of time-dependent policies by minimizing an Integral Probability Metric between the observation distributions of the expert policy and the learner. FAIL is the first provably efficient algorithm in ILFO setting, which learns a near-optimal policy with a number of samples that is polynomial in all relevant parameters but independent of the number of unique observations. The resulting theory extends the domain of provably sample efficient learning algorithms beyond existing results, which typically only consider tabular reinforcement learning settings or settings that require access to a near-optimal reset distribution. We also investigate the extension of FAIL in a model-based setting. Finally we demonstrate the efficacy of FAIL on multiple OpenAI Gym control tasks.

연구 동기 및 목표

• 전문가 행동이나 보상에 접근할 수 없고 전문가의 관측값만 이용 가능한 상황에서 모방 학습의 과제를 해결하기 위해.
• 고차원 관측값을 갖는 대규모 MDP에 대해 샘플 효율적이고 계산 효율적인 알고리즘을 설계하기 위해.
• 관측 공간의 고유한 관측 수에 따라 달라지지 않고 기능 클래스 복잡도에만 의존하는 샘플 복잡도를 확보하여 ILfO에서 증명 가능한 샘플 효율성을 달성하기 위해.
• 표본 복잡도가 관측 공간 크기와 무관하게 보장되는 모방 학습의 영역을 표본 표기 설정과 근사 최적의 리셋 분포가 필요한 설정을 초월하여 확장하기 위해.
• 관측 시퀀스만을 사용하여 다양한 제어 작업에 일반화 가능한 실용적인 알고리즘을 개발하기 위해.

제안 방법

• FAIL은 시간 단계에 걸쳐 H개의 독립된 이중 최소화-최대화 게임으로 ILfO를 공식화하며, 각 정책은 다음 단계에서 전문가의 관측 분포를 일치시키도록 최적화된다.
• 학습자와 전문가의 관측 분포 간의 분산 측정으로 통합 확률 거리(IPM)를 사용하여, 일련의 판별자 집합을 통해 분포 일치를 가능하게 한다.
• 알고리즘은 최소화-최대화 최적화 프레임워크를 사용하며, 판별자는 기대 IPM 값의 차이를 최대화하도록 업데이트되고, 정책은 온정책 샘플을 사용한 정책 기반 기울기 방법으로 업데이트된다.
• 핵심 혁신은 오프정책 데이터가 필요 없이 효율적이고 안정적인 훈련을 가능하게 하기 위해 온정책 샘플을 사용해 정책 기울기를 추정하는 것이다.
• 알고리즘은 모델 기반 설정으로 확장되었으며, FAIL*(알고리즘 5)를 통해 중간 경로 상태를 재사용하여 샘플 효율성을 더욱 향상시켰다.
• 알고리즘은 판별자 최대화 단계를 해결하기 위해 선형 프rogamming(선형 프로그래밍) 오라클을 활용하고, 정책 업데이트에는 확률적 경사 하강법을 사용하여 계산 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 전문가 행동에 접근할 수 없고 전문가 관측값만 이용 가능한 상황에서 증명 가능한 샘플 효율성 있는 모방 학습 알고리즘을 설계할 수 있는가?
• RQ2 제안된 방법이 관련 매개변수에 대해 다항식 샘플 복잡도를 달성하고, 고유한 관측 수에 따라 달라지지 않는가?
• RQ3 원시 이미지와 같은 고차원 관측값을 갖는 대규모 MDP에서 알고리즘이 효과적으로 일반화될 수 있는가?
• RQ4 온정책 샘플과 IPM 기반 분포 일치 방식이 기존 수작업으로 설계된 비용 함수나 행동 클로닝 접근 방식보다 어떻게 비교되는가?
• RQ5 제한된 시범 데이터 하에서 연속 제어 작업에서 알고리즘의 경험적 성능은 어떠한가?

주요 결과

• FAIL은 관측 공간 크기의 기수에 따라 달라지지 않는 모든 관련 매개변수에 대해 다항식 샘플 복잡도를 확보하며, ILfO 설정에서 증명 가능한 샘플 효율성 있는 모방 학습을 달성한다.
• OpenAI Gym 제어 작업에서 실험적으로 뛰어난 성능을 보이며, 전문가 행동이 없는 GAIL 및 표준 행동 클로닝과 비교해도 뛰어나며, 특히 저자료 환경에서 두각을 나타낸다.
• 중간 경로 상태를 재사용하는 FAIL*(알고리즘 5)는 특히 훈련 데이터가 제한된 경우(예: 0.25백만 개 샘플) 샘플 효율성이 향상됨을 보였다.
• 전문가 행동, 보상 함수, 근사 최적의 리셋 분포 없이도 근사 최적의 정책을 성공적으로 학습했다.
• Swimmer, Hopper, Reacher 작업에서의 경험 결과는 10개의 랜덤 시드에 걸쳐 일관된 성능 향상을 보이며, 이 방법의 강건성을 검증한다.
• 이론적 분석은 오라클 효율적인 호출을 통해 계산 효율성을 유지하고 관측 공간 크기에 대한 지수적 의존성을 피하는 것을 확인한다.