[논문 리뷰] Imitation Learning via Off-Policy Distribution Matching

Ilya Kostrikov, Ofir Nachum외 1명|arXiv (Cornell University)|2019. 12. 10.

Reinforcement Learning in Robotics참고 문헌 22인용 수 30

한 줄 요약

이 논문은 보상이 명시되어 있지 않고 온정책 데이터에 의존하지 않으며 전문가 정책과 행동 정책의 상태-행동 분포 간의 발산을 직접 최소화하는 새로운 이방학습 알고리즘인 ValueDICE를 소개한다. 분포 비율 추정을 완전히 이방정책 목표로 재구성함으로써 ValueDICE는 샘플 효율적이고 안정적인 훈련을 가능하게 하며, MuJoCo 벤치마크에서 기존 방법들인 DAC와 GAIL을 능가하는 최고 성능을 달성한다. 특히 저자원 환경에서 두각을 나타낸다.

ABSTRACT

When performing imitation learning from expert demonstrations, distribution matching is a popular approach, in which one alternates between estimating distribution ratios and then using these ratios as rewards in a standard reinforcement learning (RL) algorithm. Traditionally, estimation of the distribution ratio requires on-policy data, which has caused previous work to either be exorbitantly data-inefficient or alter the original objective in a manner that can drastically change its optimum. In this work, we show how the original distribution ratio estimation objective may be transformed in a principled manner to yield a completely off-policy objective. In addition to the data-efficiency that this provides, we are able to show that this objective also renders the use of a separate RL optimization unnecessary.Rather, an imitation policy may be learned directly from this objective without the use of explicit rewards. We call the resulting algorithm ValueDICE and evaluate it on a suite of popular imitation learning benchmarks, finding that it can achieve state-of-the-art sample efficiency and performance.

연구 동기 및 목표

• 각 정책 업데이트마다 환경과의 반복적 상호작용이 필요한 온정책 분포 매칭의 샘플 비효율성을 해결하기 위해.
• 온정책 데이터가 필요 없는 이론적으로 타당한, 분포 비율 추정의 이방정책 공식을 개발하기 위해.
• 보상 기반 강화학습 최적화 단계를 별도로 필요로 하지 않도록, 발산 최소화 목표에서 직접 정책 최적화를 가능하게 하기 위해.
• 통합된 보상 없는 프레임워크를 통해 저자원 및 고자원 환경 모두에서 이방학습의 최고 성능을 달성하기 위해.

제안 방법

• 원래의 분포 매칭 목표를 온정책 기대값을 피하기 위해 재구성하여 밀도 비율 추정을 위한 완전히 이방정책 목표로 전환한다.
• 비평가 네트워크를 사용하여 전문가 정책 대비 행동 정책의 상태-행동 분포 비율을 추정하며, 과거 상호작용의 재생 버퍼에서 훈련한다.
• 행동 정책 파라미터에 대한 발산 목표의 기울기를 직접 유도함으로써 명시적 보상 없이도 엔드 투 엔드 정책 학습을 가능하게 한다.
• 전통적인 강화학습 보상 설계를 회피하고, 발산 목표에서 직접 정책을 학습하는 간결한 알고리즘인 ValueDICE를 도입한다.
• Q함수 기반의 목표를 사용하여 분포 비율을 근사함으로써 안정적이고 효율적인 이방정책 업데이트를 가능하게 한다.
• 비평가를 이방정책 방식으로 훈련하기 위해 전문가 시범 데이터와 행동 정책의 롤아웃을 포함한 재생 버퍼를 사용한다.

실험 결과

연구 질문

• RQ1 기존 목표의 이론적 보장을 유지하면서도, 온정책 데이터 없이도 분포 매칭을 완전히 이방정책으로 구현할 수 있는가?
• RQ2 발산 목표를 직접 최적화함으로써 별도의 강화학습 최적화 단계가 필요 없어질 수 있는가?
• RQ3 보상 없는 이방학습 알고리즘이 높은 샘플 효율성으로 최고 성능을 달성할 수 있는가?
• RQ4 제안된 이방정책 분포 매칭 방법은 저자원 환경에서 온정책 및 기존 이방정책 이방학습 벤치마크와 비교해 어떻게 성능을 내는가?

주요 결과

• 오직 한 개의 전문가 트레이젝터리만 제공된 상황에서 ValueDICE는 모든 MuJoCo 환경에서 DAC와 GAIL을 모두 능가하며 뛰어난 샘플 효율성을 보였다.
• 저자원 환경(1개의 전문가 트레이젝터리)에서 ValueDICE는 DAC와 GAIL보다 높은 평균 수익을 달성했으며, GAIL은 의미 있는 진전을 이룰 수 없었다.
• 10개의 전문가 트레이젝터리가 제공된 경우, ValueDICE는 벤치마크보다 빠르게 수렴하면서도 뛰어난 성능을 유지했으며, 행동 복제(Behavioral Cloning) 역시 전문가 성능을 회복했다.
• 희박한 전문가 데이터를 가진 합성 링 MDP에서, ValueDICE는 상태 1과 2로 이동하고 순환하는 방식으로 전문가 상태-행동 점유율을 정확히 모방하는 정책을 성공적으로 학습했다.
• 스토캐스틱 전문가 설정에서, ValueDICE는 훈련 중에 행동 정책과 전문가 상태-행동 분포 간 진짜 KL 발산을 효과적으로 최소화했다.
• 저자원 및 고자원 환경 모두에서 최고 성능을 달성하여, 이 방법의 강건성과 효율성을 입증했다.