[논문 리뷰] Off-Policy Imitation Learning from Observations

Zhuangdi Zhu, Kaixiang Lin외 2명|arXiv (Cornell University)|2021. 02. 25.

Multimodal Machine Learning Applications인용 수 7

한 줄 요약

이 논문은 전문가 행동 시연 없이도 샘플 효율적인 오프-폴리시 강화학습 방법인 OPOLO를 제안한다. LfO 목적함수의 상한을 유도하고 역행동 모델 정규화를 통합함으로써 OPOLO는 오프-폴리시 최적화를 가능하게 하며, 모드 커버리지 방식을 통해 학습을 가속화하여 운동 벤치마크에서 샘플 효율성과 점점 도달하는 성능 모두에서 최고 성능을 달성한다.

ABSTRACT

Learning from Observations (LfO) is a practical reinforcement learning scenario from which many applications can benefit through the reuse of incomplete resources. Compared to conventional imitation learning (IL), LfO is more challenging because of the lack of expert action guidance. In both conventional IL and LfO, distribution matching is at the heart of their foundation. Traditional distribution matching approaches are sample-costly which depend on on-policy transitions for policy learning. Towards sample-efficiency, some off-policy solutions have been proposed, which, however, either lack comprehensive theoretical justifications or depend on the guidance of expert actions. In this work, we propose a sample-efficient LfO approach that enables off-policy optimization in a principled manner. To further accelerate the learning procedure, we regulate the policy update with an inverse action model, which assists distribution matching from the perspective of mode-covering. Extensive empirical results on challenging locomotion tasks indicate that our approach is comparable with state-of-the-art in terms of both sample-efficiency and asymptotic performance.

연구 동기 및 목표

• 전문가 행동 시연이 제공되지 않는 Learning from Observations (LfO)에서 샘플 비효율성 문제를 해결하기 위해 오프-폴리시 최적화를 가능하게 하는 것.
• 전문가 행동 감독에 의존하지 않는 이론적으로 탄탄한 오프-폴리시 LfO 방법을 개발하는 것.
• 분포 매칭에서 모드 커버리지 방식을 촉진하는 역행동 모델 정규화를 도입하여 LfO의 학습 속도를 가속화하는 것.
• 복잡한 운동 작업에서 샘플 효율성과 점점 도달하는 성능 모두에서 최고 성능을 달성하는 것.

제안 방법

• 전문가 행동이 필요 없는 오프-폴리시 최적화를 가능하게 하기 위해 LfO 목적함수의 상한을 유도하는 것.
• 오프-폴리시 리PLAY 버퍼를 사용하여 전이를 저장하고 재사용함으로써 데이터 효율성을 향상시키는 것.
• 다양한 전문가 행동을 커버하도록 유도하기 위해 역행동 모델 정규화를 도입하는 것.
• 정적 환경 가정 하에 역모델을 학습함으로써 정규화를 강제하는 것.
• SAC나 TD3와 같은 오프-폴리시 딥 강화학습 알고리즘을 사용하여 병합 목적함수를 최적화하는 것.
• 유연한 f-함수 가족을 사용한 f-발산 기반의 분포 매칭을 활용하며, 안정성을 위해 q=p=2를 선택하는 것.

실험 결과

연구 질문

• RQ1 전문가 행동이 없는 조건에서 오프-폴리시 이뮬레이션 학습을 샘플 효율적으로 수행할 수 있는가?
• RQ2 오프-폴리시 데이터나 전문가 행동 감독에 의존하지 않고 LfO에서 분포 매칭을 어떻게 최적화할 수 있는가?
• RQ3 역행동 모델 정규화가 LfO에서 학습 속도와 분포 커버리지에 미치는 영향은 무엇인가?
• RQ4 이론적으로 탄탄한 오프-폴리시 LfO 방법이 샘플 효율성과 점점 도달하는 수익 모두에서 최고 성능을 달성할 수 있는가?

주요 결과

• OPOLO는 평가된 모든 운동 작업에서 샘플 효율성과 점점 도달하는 성능 모두에서 최고 성능을 달성하며, 기존의 오프-폴리시 및 온-폴리시 기반 방법들을 능가한다.
• 제거 실험 결과, 역행동 정규화를 제거할 경우 샘플 효율성이 약간 감소하는 것으로 나타났으며, 특히 HalfCheetah나 Ant와 같은 도전적인 환경에서 두드러졌다.
• 역행동 정규화는 모드 커버리지 방식을 촉진함으로써 학습 속도를 크게 향상시키며, 주 목적함수의 모드 탐색 행동을 보완한다.
• OPOLO는 다양한 f-발산 함수에 대해 안정적인 성능을 유지하며, 특히 q=p=2가 가장 유연하고 일관된 결과를 제공한다.
• 역정규화가 없는 OPOLO-x 버전은 OPOLO 및 DAC와 유사한 점점 도달하는 성능을 달성함으로써, 주 목적함수만으로도 전문가 수준의 성능을 달성할 수 있음을 시사한다.