[논문 리뷰] CLARE: Conservative Model-Based Reward Learning for Offline Inverse Reinforcement Learning

Sheng Yue, Guanbo Wang외 5명|arXiv (Cornell University)|2023. 02. 09.

Explainable Artificial Intelligence (XAI)인용 수 6

한 줄 요약

CLARE는 오프라인 역강화학습에서 보상 외삽 오차를 줄이기 위해 전문가 데이터와 다양한 오프라인 데이터를 균형 있게 활용하고, 학습된 동역학 모델을 통한 신중한 탐색을 통해 보수적인 모델 기반 보상 학습 프레임워크를 제안한다. 이 방법은 특히 작은 데이터셋에서 상태최적화 기준 최신 기술보다 뛰어난 정책 성능과 일반화 성능을 보이며, MuJoCo 연속 제어 작업에서 검증되었다.

ABSTRACT

This work aims to tackle a major challenge in offline Inverse Reinforcement Learning (IRL), namely the reward extrapolation error, where the learned reward function may fail to explain the task correctly and misguide the agent in unseen environments due to the intrinsic covariate shift. Leveraging both expert data and lower-quality diverse data, we devise a principled algorithm (namely CLARE) that solves offline IRL efficiently via integrating "conservatism" into a learned reward function and utilizing an estimated dynamics model. Our theoretical analysis provides an upper bound on the return gap between the learned policy and the expert policy, based on which we characterize the impact of covariate shift by examining subtle two-tier tradeoffs between the exploitation (on both expert and diverse data) and exploration (on the estimated dynamics model). We show that CLARE can provably alleviate the reward extrapolation error by striking the right exploitation-exploration balance therein. Extensive experiments corroborate the significant performance gains of CLARE over existing state-of-the-art algorithms on MuJoCo continuous control tasks (especially with a small offline dataset), and the learned reward is highly instructive for further learning.

연구 동기 및 목표

• 제한된 전문가 데이터에서 공변수 이동으로 인해 분포를 벗어난 상태에서 보상이 잘못된 방향을 유도하는 보상 외삽 오차 문제를 해결한다.
• 단지 전문가 시연에 의존하는 기존 오프라인 IRL 방법의 한계를 극복하여, 알려지지 않은 상태-행동 분포로의 일반화를 가능하게 한다.
• 고품질의 전문가 데이터와 낮은 품질의 다양한 데이터를 활용하여 보상 일반화를 향상시키고, 상태-행동 공간의 커버리지 확보를 도모한다.
• 보수적인 보상 설계를 통해 학습된 정책과 전문가 정책 간의 수익 격차를 이론적으로 증명 가능하게 줄이는 이론적으로 탄탄한 알고리즘을 개발한다.
• 모델 기반 롤아웃과 보수적인 보상 정규화를 통합하여 데이터 부족 환경에서도 안전하고 효과적인 정책 학습을 가능하게 한다.

제안 방법

• 학습된 동역학 모델을 통한 롤아웃을 통해 데이터 다양성의 균형 잡힌 이용과 보수적인 탐색을 동시에 달성하는 이중 수준의 트레이드오프 메커니즘을 도입한다.
• 학습된 동역학 모델에서 생성된 분포를 벗어난 상태-행동에 대해 높은 보상 값을 처벌하는 보수적인 보상 학습 목표를 수립한다.
• 보상 함수 최적화 과정에서 전문가 데이터와 다양한 데이터의 기여도를 동적으로 조절하기 위해 가속 가능한 포인트별 가중치를 사용한다.
• 동역학 모델을 활용해 실제 상호작용 없이도 합성 롤아웃을 생성하여 탐색을 강화함으로써 상태-행동 공간의 커버리지 향상을 도모한다.
• 학습된 정책과 전문가 정책 간의 수익 격차에 대한 상한선을 유도하고, 이를 바탕으로 성능 저하를 최소화할 수 있는 최적의 가중치 파rameter를 유도한다.
• 목표 정책과 학습된 정책 간의 분포 차이를 최소화하기 위해 정책 최적화 목표에 카이제곱 분산 정규화를 적용한다.

실험 결과

연구 질문

• RQ1 제한된 전문가 시범 데이터에서 발생하는 공변수 이동으로 인한 보상 외삽 오차에 강건한 오프라인 IRL 알고리즘은 어떻게 설계할 수 있는가?
• RQ2 학습된 동역학 모델을 통한 안전한 탐색과 함께 전문가 데이터와 다양한 오프라인 데이터를 얼마나 균형 있게 활용할 수 있는가?
• RQ3 보수적인 보상 학습과 모델 기반 롤아웃을 조합하면 학습된 정책과 전문가 정책 간의 성능 격차를 이론적으로 줄일 수 있는가?
• RQ4 다양한 데이터의 통합은 낮은 데이터 환경에서 보상 일반화를 어떻게 향상시키는가?
• RQ5 모델 기반 탐색을 통한 보수적인 오프라인 IRL에서 수익 격차에 대해 이론적으로 어떤 보장을 제공할 수 있는가?

주요 결과

• CLARE는 특히 작은 오프라인 데이터셋을 사용하는 데이터 부족 환경에서 MuJoCo 연속 제어 벤치마크에서 최신 기술보다 뚜렷이 뛰어난 성능을 보이며, 상태최적화 기준으로 슈퍼리오르한 성능을 달성한다.
• 이론적 분석을 통해 학습된 정책과 전문가 정책 간의 수익 격차에 대한 상한선을 도출하였으며, 유도된 최적의 가중치 파rameter로 이를 최소화함을 확인하였다.
• CLARE의 보수적인 보상 함수는 전문가의 의도를 효과적으로 포착하면서도 분포를 벗어난 상태에서의 과신된 예측을 처벌하여 잘못된 유도를 줄였다.
• 학습된 동역학 모델을 활용한 통제된 탐색은 상태-행동 공간의 커버리지 향상을 도모하였고, 전문가 데이터의 다양성 외부 영역까지의 정책 일반화를 향상시켰다.
• 소스 코드 및 아블레이션 연구를 통해 하위 태스크에서의 이mitation 학습을 지원하는 매우 유용한 보상 함수를 생성함을 검증하였다.
• 실험 결과는 CLARE의 이중 수준의 이용-탐색 트레이드오프가 기존 기준 대비 더 안전하고 강건한 정책 학습을 이끌어낸다는 것을 확인하였다.