[논문 리뷰] A Policy-Guided Imitation Approach for Offline Reinforcement Learning

Haoran Xu, Lì Jiāng외 2명|arXiv (Cornell University)|2022. 10. 15.

Reinforcement Learning in Robotics인용 수 10

한 줄 요약

이 논문은 정책을 지도 정책(최적의 다음 상태를 예측함)과 실행 정책(상태를 행동으로 매핑함)으로 분리하는 새로운 오프라인 강화학습 프레임워크인 정책 지도형 오프라인 강화학습(POR)을 제안한다. 행동 조합성 대신 상태 조합성을 통해, D4RL 벤치마크에서 최신 기술 수준의 성능을 달성하며, 특히 저품질 데이터셋에서 뛰어난 성능을 발휘한다. 또한 지도 정책 재학습을 통해 새로운 작업에 효율적으로 적응하고, 보조 비최적 데이터를 통해 일반화 능력을 향상시킨다.

ABSTRACT

Offline reinforcement learning (RL) methods can generally be categorized into two types: RL-based and Imitation-based. RL-based methods could in principle enjoy out-of-distribution generalization but suffer from erroneous off-policy evaluation. Imitation-based methods avoid off-policy evaluation but are too conservative to surpass the dataset. In this study, we propose an alternative approach, inheriting the training stability of imitation-style methods while still allowing logical out-of-distribution generalization. We decompose the conventional reward-maximizing policy in offline RL into a guide-policy and an execute-policy. During training, the guide-poicy and execute-policy are learned using only data from the dataset, in a supervised and decoupled manner. During evaluation, the guide-policy guides the execute-policy by telling where it should go so that the reward can be maximized, serving as the extit{Prophet}. By doing so, our algorithm allows extit{state-compositionality} from the dataset, rather than extit{action-compositionality} conducted in prior imitation-style methods. We dumb this new approach Policy-guided Offline RL ( exttt{POR}). exttt{POR} demonstrates the state-of-the-art performance on D4RL, a standard benchmark for offline RL. We also highlight the benefits of exttt{POR} in terms of improving with supplementary suboptimal data and easily adapting to new tasks by only changing the guide-poicy.

연구 동기 및 목표

• 기존 오프라인 RL 방법의 한계를 해결하기 위해: 강화학습 기반 방법은 오프폴리시 평가 오차를 겪는 반면, 이mitation 기반 방법은 너무 보수적이며 데이터셋을 초월한 일반화가 불가능하다.
• 이mitation 기반 접근법의 훈련 안정성을 유지하면서도 논리적 분포 외 일반화를 가능하게 하는 방법을 개발하기 위해.
• 이전 방법에서의 행동 조합성 대신, 데이터셋으로부터 상태 조합성을 가능하게 하여, 더 유연하고 일반화 능력이 뛰어난 정책 학습을 가능하게 하기 위해.
• 실행 정책을 재학습하지 않고도 지도 정책만 재학습함으로써 새로운 작업에 효율적으로 적응할 수 있도록 지원하기 위해.
• 분리된 훈련 방식을 통해 보조 비최적 데이터를 활용함으로써 저품질 데이터셋에서의 성능을 향상시키기 위해.

제안 방법

• 오프라인 RL 작업을 두 가지 별개의 정책으로 분해: 현재 상태를 바탕으로 최적의 다음 상태를 예측하는 지도 정책과, 상태를 행동으로 매핑하는 실행 정책.
• 오프라인 데이터셋 전이만을 사용하여 지도 정책와 실행 정책를 분리된, 지도 학습 방식으로 훈련함으로써 오프폴리시 평가 오차와 분포 이탈 문제를 피한다.
• 이중 단계 훈련 과정을 사용: 먼저 전문가 데이터로 실행 정책을 훈련하고, 이후 전문가 또는 비최적 데이터로 지도 정책을 훈련하여 실행 정책이 고보상 상태로 유도되도록 한다.
• 전문가 데이터와 행동 없이 비최적 데이터(예: 영상 시연)를 조합하는 '믹스' 훈련 방식을 도입하여 지도 정책의 일반화 능력과 성능을 향상시킨다.
• 추론 시, 지도 정책이 실행 정책에게 목표 다음 상태를 제공함으로써, 상태 조합을 통해 논리적 분포 외 일반화를 가능하게 한다.
• 실행 정책을 고정한 채로 새로운 보상 함수로만 지도 정책을 재학습함으로써 작업 적응을 가능하게 하여, 새로운 작업에 빠르게 도입할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 오프폴리시 가치 함수 평가에 의존하지 않고도 오프라인 강화학습에서 안정적인 훈련과 분포 외 일반화를 달성할 수 있는가?
• RQ2 데이터셋에서 최적의 다음 상태를 조합하는 상태 조합성이, 기존 이mitation 기반 방법의 행동 조합성보다 더 나은 일반화를 가능하게 하는가?
• RQ3 분리된 지도 정책와 실행 정책 프레임워크가 오프라인 강화학습에서 저품질 또는 비최적 데이터셋에서 성능 향상을 이끌 수 있는가?
• RQ4 실행 정책를 수정하지 않고도 지도 정책만 재학습하여 새로운 작업에 효율적으로 적응할 수 있는가?
• RQ5 보조 비최적 데이터(예: 영상 또는 제3자 시연)가 분리된 훈련 방식을 통해 효과적으로 정책 성능 향상에 기여할 수 있는가?

주요 결과

• POR는 D4RL 벤치마크에서 최신 기술 수준의 성능을 달성하며, 특히 분포 외 일반화가 핵심이 되는 저품질 데이터셋에서 뛰어난 성능을 발휘한다.
• '믹스' 훈련 방식은 전문가 데이터와 비최적 데이터를 조합하여 허프 환경에서 정규화 점수 99를 달성함으로써 성능 상한선에 가까운 성능을 달성한다.
• 사방형 환경에서 POR는 실행 정책를 그대로 유지한 채 지도 정책만 재학습하여 새로운 작업(예: 강을 우회하거나 열쇠를 회수하는 것)을 성공적으로 해결한다.
• 지도 정책는 뛀나는 일반화 능력을 보이며, 작업 B에서는 강을 피하도록 정확히 안내하고, 작업 C에서는 열쇠 회수를 우선시하도록 유도한다.
• 믹스 훈련 방식을 사용할 경우, 허프와 워커2d 환경에서 모든 베이스라인보다 POR가 뛰어난 성능을 보인다. 이는 지도 정책와 실행 정책의 분리된 훈련 덕분에 가능하다.
• 이 방법은 데이터 품질에 대해 강건하며, 경량 지도 정책 미세조정을 통해 새로운 작업에 대한 효율적인 소수의 샘플 적응을 가능하게 한다.