[논문 리뷰] Provable Representation Learning for Imitation with Contrastive Fourier Features

Ofir Nachum, Mengjiao Yang|arXiv (Cornell University)|2021. 05. 26.

Reinforcement Learning in Robotics참고 문헌 41인용 수 7

한 줄 요약

이 논문은 표본 효율성을 향상시키기 위해 대조적 푸리에 특징을 사용하여 유도 학습을 위한 증명 가능하고 효과적인 표현 학습 방법을 제안한다. 목표 정책의 차원이 낮은지 여부에 관계없이 유지되는 엄격한 상한선을 유도하며, 무작위 푸리에 특징 또는 에너지 기반 모델을 사용한 대조 학습을 통해 목적 함수를 구현하여 아타리 및 표본 환경에서 뛰어난 성능 향상을 보인다.

ABSTRACT

In imitation learning, it is common to learn a behavior policy to match an unknown target policy via max-likelihood training on a collected set of target demonstrations. In this work, we consider using offline experience datasets - potentially far from the target distribution - to learn low-dimensional state representations that provably accelerate the sample-efficiency of downstream imitation learning. A central challenge in this setting is that the unknown target policy itself may not exhibit low-dimensional behavior, and so there is a potential for the representation learning objective to alias states in which the target policy acts differently. Circumventing this challenge, we derive a representation learning objective that provides an upper bound on the performance difference between the target policy and a lowdimensional policy trained with max-likelihood, and this bound is tight regardless of whether the target policy itself exhibits low-dimensional structure. Moving to the practicality of our method, we show that our objective can be implemented as contrastive learning, in which the transition dynamics are approximated by either an implicit energy-based model or, in some special cases, an implicit linear model with representations given by random Fourier features. Experiments on both tabular environments and high-dimensional Atari games provide quantitative evidence for the practical benefits of our proposed objective.

연구 동기 및 목표

• 큰 오프라인 데이터셋을 활용하여 시범 데이터가 부족한 상황에서 행동 복제의 표본 비효율성 문제를 해결한다.
• 표현 학습에서 상태들이 서로 다른 목표 정책 행동을 가질 수 있음에도 불구하고 동일한 표현으로 압축되는 앨리어싱 문제를 해결한다.
• 하위 작업인 행동 복제가 목표 정책의 내재 차원성에 관계없이 목표 정책를 정확히 재현할 수 있도록 이론적으로 탄탄한 표현 학습 목적 함수를 제공한다.
• 오프라인 유도 학습에서 실용적인 대조 학습 방법과 이론적 보장 간 격차를 메운다.
• 제안된 방법이 표본 환경과 고차원 환경 모두에서 기존의 잠재 공간 모델인 DeepMDP와 DBC를 능가하는 것으로 입증한다.

제안 방법

• 목표 정책이 저차원인지 여부에 관계없이 유지되는, 최대우도 기반으로 훈련된 저차원 정책과 목표 정책 간 성능 차이의 상한선을 유도한다.
• 이 상한선을 최소화하는 표현 학습 목적 함수를 제안하며, 가용한 경우 동역학과 보상 정보를 모두 통합한다.
• 대조 학습 절차로 목적 함수를 구현하며, 양성 쌍은 암묵적인 에너지 기반 모델에 의해 근사된 전이 동역학에 기반한다.
• 표현을 무작위 푸리에 특징으로 매개변수화하여 선형 동역학 근사의 효율적이고 확장 가능한 학습을 가능하게 한다.
• 표현 학습 단계를 하위 작업인 행동 복제와 분리하여, 행동 복제 미세조정 기간 동안 표현을 고정함으로써 이론적 보장을 확보한다.
• 선형으로 매개변수화된 동역학과 보상 정보를 표현 목적 함수에 통합함으로써 선형 정책에 대한 방법을 확장하며, 이론적 상한선을 유지한다.

실험 결과

연구 질문

• RQ1 목표 정책의 내재 차원성이 어떻게 되든 간에, 목표 정책과 저차원 정책 간 성능 격차를 증명 가능하게 줄이는 표현 학습 목적 함수를 설계할 수 있는가?
• RQ2 목표 정책가 저차원적 구조를 보이지 않을 경우, 특히 목표 분포에서 멀리 떨어진 오프라인 데이터가 존재할 때 표현 학습에서 앨리어싱 문제를 어떻게 피할 수 있는가?
• RQ3 무작위 푸리에 특징을 사용한 대조 학습이, 표현 학습에 대해 선형 동역학 모델을 효율적이고 실용적으로 근사할 수 있는가?
• RQ4 제안된 방법은 아타리 게임에서 기존의 잠재 공간 모델인 DeepMDP와 DBC와 비교해 표본 효율성과 성능 면에서 어떻게 성과를 내는가?
• RQ5 이론적 상한선은 실질적으로도 유지되는가? 그리고 다양한 환경에서 일관된 성능 향상을 달성하는 데 활용될 수 있는가?

주요 결과

• 제안된 대조적 푸리에 특징 방법은 아타리 2600 게임의 60개 중 절반 이상에서 순수 행동 복제 대비 성능 향상이 40% 이상을 기록한다.
• 에너지 기반 모델로 매개변수화된 대조 목적 함수 역시 상당한 성능 향상을 보이며, 순수 행동 복제를 뛰어나거나, 엔드 투 엔드 미세조정된 잠재 공간 모델의 성능을 따라하거나 초월한다.
• DeepMDP와 DBC는 상태 공간 모델로서 최신 기술임에도 불구하고, 별도의 손실로 사용될 경우 순수 행동 복제 대비 성능 향상이 미미하며, 엔드 투 엔드 훈련을 하더라도 대조 학습에 비해 성능이 열등하다.
• 목표 정책이 저차원인지 여부에 관계없이 정책 성능 차이의 이론적 상한선이 유지되며, 이는 방법의 강건성을 검증한다.
• 행동 복제 훈련 중 표현을 고정하는 것이 엔드 투 엔드 미세조정보다 더 우수한 일반화 성능과 성능 향상을 이끌어내며, 특히 대조적 푸리에 특징을 통해 표현을 학습할 경우 더욱 두드러진다.
• 대규모 오프라인 데이터셋(예: DQN 재생에서 5000만 개 전이)을 효과적으로 활용하여, 오프라인 데이터가 목표 정책 분포에서 멀리 떨어져 있더라도 표현 학습의 표본 효율성을 크게 향상시킨다.