[논문 리뷰] Discriminator-Weighted Offline Imitation Learning from Suboptimal Demonstrations

Haoran Xu, Xianyuan Zhan외 2명|arXiv (Cornell University)|2022. 07. 20.

Reinforcement Learning in Robotics인용 수 9

한 줄 요약

이 논문은 하위 최적의 시연 데이터가 지배하는 상황에서 보다 안정적인 정책 학습을 위해 행동 코딩 정책과 전문가 데이터를 하위 최적 데이터와 구분하는 판별기(discriminator)를 함께 훈련시키는 경량의 오프라인 타깃 학습 알고리즘인 판별기 가중 행동 코딩(Discriminator-Weighted Behavioral Cloning, DWBC)을 제안한다. 판별기의 출력이 BC 손실에 가중치를 부여함으로써, 하위 최적 데이터가 지배하는 상황에서도 강인한 모방 학습이 가능하며, 보상 학습이나 오프라인 RL을 필요로 하지 않는 기존 방법들보다 높은 수익과 더 빠른 훈련 속도를 달성한다.

ABSTRACT

We study the problem of offline Imitation Learning (IL) where an agent aims to learn an optimal expert behavior policy without additional online environment interactions. Instead, the agent is provided with a supplementary offline dataset from suboptimal behaviors. Prior works that address this problem either require that expert data occupies the majority proportion of the offline dataset, or need to learn a reward function and perform offline reinforcement learning (RL) afterwards. In this paper, we aim to address the problem without additional steps of reward learning and offline RL training for the case when demonstrations contain a large proportion of suboptimal data. Built upon behavioral cloning (BC), we introduce an additional discriminator to distinguish expert and non-expert data. We propose a cooperation framework to boost the learning of both tasks, Based on this framework, we design a new IL algorithm, where the outputs of discriminator serve as the weights of the BC loss. Experimental results show that our proposed algorithm achieves higher returns and faster training speed compared to baseline algorithms.

연구 동기 및 목표

• 전문가 시범 데이터가 부족하고 하위 최적 데이터가 데이터셋을 지배하는 오프라인 모방 학습 문제를 해결하기 위해, 온라인 환경 상호작용이나 전문가 주석을 요구하지 않도록 하는 것.
• 하위 최적의 시범 데이터에서 노이즈가 많은 상황에서도 행동 코딩의 강인성을 높이기 위해 전문가와 비전문가 경로를 구분하는 판별기를 도입하는 것.
• 비용이 많이 들지 않는 보상 학습이나 오프라인 RL의 정밀 조정 단계를 피하는 경량이고 효율적인 알고리즘을 개발하는 것.
• 훈련된 판별기의 신뢰도 점수를 활용해 오프라인 정책 선택을 부가적으로 가능하게 하는 것.
• 정책과 판별기 성능을 동시에 최적화하는 협업 프레임워크를 제공하는 것.

제안 방법

• 전문가 경로와 하위 최적 경로를 구분하는 판별기를 도입하고, 행동 코딩 정책와 함께 훈련하는 것.
• 정책과 판별기의 훈련을 동시에 최적화하는 협업 프레임워크를 제안하여, 양 측면의 성능을 향상시키는 것.
• 판별기 훈련 기간 동안 강인성을 확보하기 위해 최악의 오차 최소화 기법을 정책 목표에 적용하는 것.
• 유도된 목표와 일반화된 BC 손실 간의 등가성을 도출하며, 판별기의 출력이 BC 손실 함수 내 샘플 가중치로 기능하는 것을 보여주는 것.
• 판별기의 출력을 정책 품질의 대체 지표로 사용하여, 환경 상호작용 없이도 오프라인 정책 선택이 가능하도록 하는 것.
• 이전 방법들과 달리 내부 RL 루프나 앙상블 훈련을 피함으로써 계산 효율성을 유지하는 것.

실험 결과

연구 질문

• RQ1 전문가와 하위 최적 경로를 구분하는 판별기를 훈련시켜, 하위 최적 데이터가 다수를 차지하는 상황에서 행동 코딩 성능을 향상시킬 수 있는가?
• RQ2 정책과 판별기 훈련 간의 협업 프레임워크가 독립적 훈련보다 더 나은 성능을 내는가?
• RQ3 판별기의 출력을 사용해 온라인 평가 없이도 후보 정책들을 순위 매길 수 있는가?
• RQ4 제안된 방법은 보상 학습이나 오프라인 RL 정밀 조정 단계가 필요한 기존 오프라인 IL 방법들보다 더 샘플 효율적이고 빠른가?
• RQ5 판별기 기반 가중치 부여 메커니즘이 다양한 환경과 시범 데이터 구성에 일반화되는가?

주요 결과

• DWBC는 하위 최적 데이터가 지배하는 환경, 특히 Hopper, Walker2d, Pen에서 BC, BCND, ORIL, DemoDICE보다 더 높은 수익을 달성한다.
• DWBC는 ORIL과 BCND보다 훨씬 더 빠른 훈련 속도를 보이며, 표준 BC 수준의 런타임을 약간 초과할 뿐이므로 계산적으로 효율적이다.
• DWBC의 판별기는 효과적인 오프라인 정책 선택을 가능하게 한다: 판별기의 출력 값은 진짜 정책 수익과 강하게 상관관계가 있어, 온라인 평가 없이도 후보 정책들을 정확히 순위 매길 수 있다.
• 노이즈가 많은 데이터 비율이 높은 설정에서는 DemoDICE의 KL 정규화가 지나치게 보수적으로 작용하는 반면, DWBC는 그에 비해 우수한 성능을 보인다.
• 제안된 협업 프레임워크 덕분에, 독립적으로 훈련하는 것보다 판별기가 더 강인하고 정책은 더 정확해진다.
• 제안된 목표와 가중 BC 손실 간의 등가성은 이 방법의 효과성에 대한 이론적 근거를 제공한다.