[논문 리뷰] Conservative Offline Distributional Reinforcement Learning

Yecheng Jason, Dinesh Jayaraman외 1명|arXiv (Cornell University)|2021. 07. 12.

Reinforcement Learning in Robotics참고 문헌 46인용 수 5

한 줄 요약

CODAC는 분位수 기반 수익 추정을 통해 분포 외 행동에 대한 페널티를 주어 안전성을 향상시키는 보존적인 오프라인 분포 강화 학습 알고리즘입니다. 이 알고리즘은 수익 분位수의 보수적인 하한선으로 수렴하며, 위험 중립 및 위험 회피 설정 모두에서 D4RL MuJoCo 벤치마크에서 최신 기술 수준의 성능을 달성합니다.

ABSTRACT

Many reinforcement learning (RL) problems in practice are offline, learning purely from observational data. A key challenge is how to ensure the learned policy is safe, which requires quantifying the risk associated with different actions. In the online setting, distributional RL algorithms do so by learning the distribution over returns (i.e., cumulative rewards) instead of the expected return; beyond quantifying risk, they have also been shown to learn better representations for planning. We propose Conservative Offline Distributional Actor Critic (CODAC), an offline RL algorithm suitable for both risk-neutral and risk-averse domains. CODAC adapts distributional RL to the offline setting by penalizing the predicted quantiles of the return for out-of-distribution actions. We prove that CODAC learns a conservative return distribution -- in particular, for finite MDPs, CODAC converges to an uniform lower bound on the quantiles of the return distribution; our proof relies on a novel analysis of the distributional Bellman operator. In our experiments, on two challenging robot navigation tasks, CODAC successfully learns risk-averse policies using offline data collected purely from risk-neutral agents. Furthermore, CODAC is state-of-the-art on the D4RL MuJoCo benchmark in terms of both expected and risk-sensitive performance.

연구 동기 및 목표

• 행동 선택 시 위험을 정량화함으로써 오프라인 강화 학습에서 정책의 안전성을 확보하는 데 도전하는 것.
• 이전에 온라인 환경에서 효과적이었던 분포 강화 학습을 오프라인, 데이터 기반 환경에 적응시키는 것.
• 위험한 행동의 과대평가를 최소화하기 위해 수익 분포의 보수적인 추정치를 학습하는 방법을 개발하는 것.
• 제안된 알고리즘 하에서 유한 MDP에서 수익 분위수의 균일한 하한선으로의 수렴을 증명하는 것.
• 위험 중립 에이전트가 수집한 순수 오프라인 데이터로부터 위험 회피 정책을 효과적으로 학습할 수 있는지 보여주는 것.

제안 방법

• CODAC는 분포 강화 학습 프레임워크를 오프라인 강화 학습에 확장하기 위해 분포 벨만 연산자를 수정하여 분포 외 행동에 대한 페널티를 주는 방식으로 작동합니다.
• 행위 정책 분포에서 벗어나는 행동에 대해 예측된 수익 분위수를 페널티 주는 보수적인 정규화 항을 도입합니다.
• 알고리즘은 분위수 기반 수익 분포를 학습함으로써 분위수 수준의 추정을 통해 위험 민감한 의사결정을 가능하게 합니다.
• CODAC는 분포 벨만 연산자의 새로운 분석을 통해 유한 MDP에서 분위수의 균일한 하한선으로의 수렴을 증명합니다.
• 오프라인 데이터를 포함한 리PLAY 버퍼를 사용하고, 행동 정책 밀도가 낮은 행동에 대한 가치 추정을 제한하는 보수적인 업데이트 규칙을 적용합니다.
• 분위수 예측을 위한 별도의 헤드를 갖춘 딥 네ural 네트워크 아키텍처를 사용하며, 분위수 허브 손실을 통해 훈련합니다.

실험 결과

연구 질문

• RQ1 분포 강화 학습이 보수적이고 위험 회피적인 행동을 보장하면서 오프라인 환경에 효과적으로 적응할 수 있는가?
• RQ2 수익 분포에서 분포 외 행동에 대한 페널티를 주는 것이 오프라인 강화 학습에서 더 안전하고 신뢰할 수 있는 정책 학습을 이끌 수 있는가?
• RQ3 CODAC가 유한 MDP에서 분위수의 하한선으로 수렴하는 보수적인 수익 추정치를 확보할 수 있는가?
• RQ4 기존 오프라인 강화 학습 방법과 비교해 볼 때 CODAC의 기대 수익과 위험 민감도 평가 지표에서 성능이 어떻게 나타나는가?
• RQ5 위험 중립 에이전트가 수집한 순수 오프라인 데이터로부터 CODAC가 효과적인 위험 회피 정책을 학습할 수 있는가?

주요 결과

• CODAC는 위험 중립 에이전트가 수집한 순수 오프라인 데이터만을 사용하여 두 가지 도전적인 로봇 내비게이션 작업에서 위험 회피 정책을 성공적으로 학습합니다.
• 제안된 분포 벨만 연산자에 대한 새로운 분석을 통해, CODAC는 유한 MDP에서 수익 분포의 분위수에 대한 균일한 하한선으로 수렴함을 증명합니다.
• CODAC는 D4RL MuJoCo 벤치마크에서 최신 기술 수준의 성능을 달성하여, 기대 수익과 위험 민감도 평가 지표 모두에서 기존 방법을 능가합니다.
• 보수적인 정규화가 분포 외 행동에 대한 수익 과대평가를 효과적으로 방지하여 정책의 안전성을 향상시킵니다.
• 실험 결과, CODAC는 다양한 오프라인 강화 학습 환경에서 강력한 성능 유지를 보이며, 강건성과 일반화 능력을 입증합니다.
• 이 방법은 보수적인 분포 학습이 안전한 오프라인 강화 학습을 위한 실현 가능하고 효과적인 전략임을 보여줍니다.