[논문 리뷰] Strictly Batch Imitation Learning by Energy-based Distribution Matching

Daniel Jarrett, Ioana Bica외 1명|arXiv (Cornell University)|2020. 06. 25.

Robot Manipulation and Learning참고 문헌 56인용 수 9

한 줄 요약

이 논문은 에너지 함수를 이용한 상태 분포의 에너지 기반 분포 매칭(EDM)을 제안한다. 이는 전문가의 점유 측도와 모방자 간의 발산을 직접 최소화함으로써, 전적으로 오프라인에서 작동하며, 행동 조건부와 상태 주변확률을 유지하는 엄격한 배치 기반 모방 학습 방법이다. EDM는 제어 및 헬스케어 벤치마크에서 기존의 오프라인 모방 학습 방법보다 일관된 성능 향상을 달성한다.

ABSTRACT

Consider learning a policy purely on the basis of demonstrated behavior -- that is, with no access to reinforcement signals, no knowledge of transition dynamics, and no further interaction with the environment. This *strictly batch imitation learning* problem arises wherever live experimentation is costly, such as in healthcare. One solution is simply to retrofit existing algorithms for apprenticeship learning to work in the offline setting. But such an approach leans heavily on off-policy evaluation or offline model estimation, and can be indirect and inefficient. We argue that a good solution should be able to explicitly parameterize a policy (i.e. respecting action conditionals), implicitly learn from rollout dynamics (i.e. leveraging state marginals), and -- crucially -- operate in an entirely offline fashion. To address this challenge, we propose a novel technique by *energy-based distribution matching* (EDM): By identifying parameterizations of the (discriminative) model of a policy with the (generative) energy function for state distributions, EDM yields a simple but effective solution that equivalently minimizes a divergence between the occupancy measure for the demonstrator and a model thereof for the imitator. Through experiments with application to control and healthcare settings, we illustrate consistent performance gains over existing algorithms for strictly batch imitation learning.

연구 동기 및 목표

• 환경 상호작용, 보상 또는 동역학에 접근할 수 없을 때, 오직 오프라인 전문가 시범 데이터만으로 정책을 학습하는 문제를 해결하기 위해.
• 행동 조건부를 명시적으로 모델링하고, 상태 방문 분포를 통해 롤아웃 동역학을 암묵적으로 포착하는 방법을 개발하기 위해.
• 오프-폴리시 평가나 온라인 강화 학습 루프에 의존하지 않는 완전히 오프라인인 솔루션을 만들기 위해.
• 의료와 같은 데이터가 부족하거나 비용이 높은 환경에서 일반화 능력과 성능을 향상시키기 위해.

제안 방법

• EDM는 정책의 조건부 분포를 판별 모델로 사용하고, 상태 주변확률을 생성적 에너지 함수로 사용하여, 전문가의 점유 측도와 모방자의 점유 측도 사이의 발산을 최소화하는 방식으로 모방 학습을 공식화한다.
• 이 방법은 정책의 매개변수화를 상태에 대한 에너지 함수로 식별함으로써, 정책과 상태 분포 매칭을 동시에 최적화할 수 있는 단일 오프라인 목표 함수를 가능하게 한다.
• 핵심 목표는 전문가의 상태-행동 점유도와 모방자의 점유도 사이의 발산(예: KL 또는 f-발산)을 최소화하는 것으로, 스코어 기반 또는 에너지 기반 공식을 사용한다.
• EDM는 반감독 설정에서 상태만 있는 데이터를 활용하여, 행동 레이블이 부족한 상황에서 성능을 향상시킨다.
• 이 방법은 딥 네ural 네트워크와 호환되며, 다양한 환경에서 완전히 연결된 구조와 컨볼루션 아키텍처를 모두 지원한다.
• 반복적인 오프-폴리시 평가나 내부 RL 루프를 피함으로써, 오프라인 시범 데이터에서 직접적인 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 온라인 상호작용 없이도, 행동 조건부와 상태 방문 분포를 효과적으로 모델링할 수 있는 엄격한 배치 기반 모방 학습 방법은 가능한가?
• RQ2 에너지 기반 분포 매칭은 기존의 오프라인 모방 학습 방법에 비해 샘플 효율성과 성능 측면에서 어떻게 비교되는가?
• RQ3 오프라인 전문가 시범 데이터와 결합했을 때, 상태만 있는 데이터가 낮은 데이터 환경에서 성능 향상에 얼마나 기여하는가?
• RQ4 오프라인 모방 학습 환경에서 오프-폴리시 평가나 온라인 RL 미세조정에 의존하는 방법에 비해 EDM은 성능에서 뛰어나게 되는가?

주요 결과

• EDM는 Acrobot, CartPole, LunarLander, BeamRider와 같은 제어 작업 전반에서 기존의 오프라인 모방 학습 알고리즘보다 일관된 성능 향상을 달성한다.
• MIMIC-III 헬스케어 벤치마크에서 EDM은 VDICE와 행동 복제와 같은 강력한 베이스라인을 능가하며, 임상 의사결정 설정에서의 강인함을 입증한다.
• EDM-1t+는 한 개의 전문가 트레이젝터리에 더해 상태만 있는 데이터를 사용하지만, 세 개의 전문가 트레이젝터리로 훈련된 VDICE와 비교해 유사한 성능 향상을 달성하여, 반감독 상태 분포 매칭의 이점을 보여준다.
• 상태만 있는 데이터를 사용했을 때 성능이 7배 향상되어, 데이터가 부족한 상황에서 매우 높은 샘플 효율성을 입증한다.
• EDM는 온라인 상호작용이나 보상 모델링 없이도, 연속 제어 및 테이블 기반 헬스케어 작업을 포함한 다양한 환경에서 안정적이고 뛰어난 성능을 보이며, 성능이 뛰어나다.