[논문 리뷰] Conservative Q-Learning for Offline Reinforcement Learning

Aviral Kumar, Aurick Zhou외 2명|arXiv (Cornell University)|2020. 06. 08.

Reinforcement Learning in Robotics참고 문헌 60인용 수 535

한 줄 요약

보수적 Q-학습(CQL)은 오프라인 RL에서 정책 가치를 제한하기 위해 보수적인 Q-함수를 학습하여 과대추정을 줄이고 이산 및 연속 작업 전반에서 성능을 향상시킵니다.

ABSTRACT

Effectively leveraging large, previously collected datasets in reinforcement learning (RL) is a key challenge for large-scale real-world applications. Offline RL algorithms promise to learn effective policies from previously-collected, static datasets without further interaction. However, in practice, offline RL presents a major challenge, and standard off-policy RL methods can fail due to overestimation of values induced by the distributional shift between the dataset and the learned policy, especially when training on complex and multi-modal data distributions. In this paper, we propose conservative Q-learning (CQL), which aims to address these limitations by learning a conservative Q-function such that the expected value of a policy under this Q-function lower-bounds its true value. We theoretically show that CQL produces a lower bound on the value of the current policy and that it can be incorporated into a policy learning procedure with theoretical improvement guarantees. In practice, CQL augments the standard Bellman error objective with a simple Q-value regularizer which is straightforward to implement on top of existing deep Q-learning and actor-critic implementations. On both discrete and continuous control domains, we show that CQL substantially outperforms existing offline RL methods, often learning policies that attain 2-5 times higher final return, especially when learning from complex and multi-modal data distributions.

연구 동기 및 목표

• RL에서 온라인 상호작용보다 데이터 효율적인 대안으로 오프라인 RL의 필요성을 제시한다.
• 고정된 데이터셋으로 학습할 때의 과대추정과 분포 변화(distribution shift)를 해결한다.
• 정책 가치의 하한을 제공하는 보수적 Q-함수 프레임워크를 제안한다.
• 최소한의 코드 수정으로 강력한 실험적 결과를 제시하여 로버스트성과 실용적 호환성을 입증한다.

제안 방법

• 데이터 정렬된 상태-행동 분포 아래 Q-값을 최소화하는 정규화된 Q-함수 목표로 보수적 Q-학습(CQL)을 도입한다.
• 학습된 Q-함수가 실제 Q-함수와 정책 가치의 하한임을 보장하는 이론적 보장을 도출한다.
• KL 기반 정규화기를 선택적으로 포함하는 통합 최적화 프레임워크 내에서 두 가지 구현(CQL(H) 및 CQL(R))를 제공한다.
• SAC 또는 QR-DQN 위에 약 20줄의 코드만으로 CQL을 오프라인 RL 알고리즘에 통합한다.
• 안전성/보장 결과: 보수적 정책 개선과 OOD 동작을 완화하는 갭 확장형 백업을 포함한다.

실험 결과

연구 질문

• RQ1 보수적 Q-함수가 오프라인 RL에서 정책 가치에 대해 신뢰할 수 있는 하한을 제시하는가?
• RQ2 명시적 행동 정책 모델링 없이도 CQL이 안전하고 성능을 향상시키는 정책 업데이트를 제공할 수 있는가?
• RQ3 복잡하고 다모드 데이터셋에서 CQL이 연속 및 이산 도메인 전반에서 어떻게 성능을 발휘하는가?

주요 결과

• CQL은 여러 벤치마크 작업에서 기존 오프라인 RL 방법들보다 최종 수익을 2~5배 더 높게 달성한다.
• CQL은 현실적인 데이터셋에서 간단한 행동 클로닝보다 종종 더 나은 성능을 발휘한다.
• 이 접근법은 Q-함수 추정 오차에 강인하고 Q-learning과 액터-비평가(Actor-Critic) 구현 모두를 지원한다.
• CQL은 기존 온라인 RL 알고리즘 위에 간단한 규제 용어를 추가하는 작은 코드 추가로 구현할 수 있다.
• 실험 결과는 고차원 시각 입력과 다모달 데이터 분포를 다루며 넓은 적용 가능성을 보여준다.