[논문 리뷰] Continuous Doubly Constrained Batch Reinforcement Learning

Rasool Fakoor, Jonas Mueller외 3명|arXiv (Cornell University)|2021. 02. 18.

Reinforcement Learning in Robotics참고 문헌 72인용 수 6

한 줄 요약

이 논문은 오프라인 연속 제어에서 과대평가 편향과 정책 분리 문제를 완화하기 위해 두 가지 정규화 항을 적용하는 연속 이중제약 배치 강화학습(CDC)을 제안한다: 행동 정책에서의 이탈을 제한하는 정책제약과 낙관적인 Q-값 추정을 억제하는 값제약. CDC는 D4RL 라이브러리의 32개 연속 제어 벤치마크에서 최상의 성능을 기록하며, 오프라인 데이터 수집 분포에 관계없이 강건함을 입증한다.

ABSTRACT

Reliant on too many experiments to learn good actions, current Reinforcement Learning (RL) algorithms have limited applicability in real-world settings, which can be too expensive to allow exploration. We propose an algorithm for batch RL, where effective policies are learned using only a fixed offline dataset instead of online interactions with the environment. The limited data in batch RL produces inherent uncertainty in value estimates of states/actions that were insufficiently represented in the training data. This leads to particularly severe extrapolation when our candidate policies diverge from one that generated the data. We propose to mitigate this issue via two straightforward penalties: a policy-constraint to reduce this divergence and a value-constraint that discourages overly optimistic estimates. Over a comprehensive set of 32 continuous-action batch RL benchmarks, our approach compares favorably to state-of-the-art methods, regardless of how the offline data were collected.

연구 동기 및 목표

• 제한적이고 정적인 오프라인 데이터로 인해 발생하는 심각한 과대평가 편향과 외삽 오류를 해결하기 위해.
• 행동 정책에서 크게 벗어난 정책을 배포할 경우 분포 외 영역에서 추정 오차가 커지는 것을 방지하기 위해.
• 온라인 환경 상호작용이 너무 비용이 많이 들거나 불가능한 실제 응용에서의 샘플 효율성과 일반화 능력을 향상시키기 위해.
• 오프라인 RL에서 가치함수 안정성과 정책 성능을 향상시키는 단순하면서도 효과적인 정규화 프레임워크를 개발하기 위해.
• 온라인 환경 상호작용 없이도 보수적이고 신뢰할 수 있는 정책 학습을 보장하기 위해.

제안 방법

• 행동 정책의 행동 분포에서 너무 멀리 이탈하는 행동을 페널티 처리하는 정책제약 정규화 항을 도입하여, 분포 외 지역에서의 정책 분리 문제를 줄인다.
• 국소 리프시츠 연속성 기반으로 최대 Q-값 갱신을 제약하여 낙관적인 Q-값 추정을 억제하는 값제약 정규화 항을 적용한다.
• Q-값 갱신을 이중 정규화 방식으로 조정하는 수정된 액터-크리틱 프레임워크를 사용하여 동시에 정책 이탈과 가치 과대평가를 통제한다.
• 과대평가 오차를 구속하기 위해 샘플 기반 분석을 활용하며, CDC가 표준 오프폴리시 방법보다 기대 과대평가 편향을 줄임을 보여준다.
• 리프시츠 연속성과 유한한 Q-값 차이를 가정할 때 과대평가 오차에 대한 이론적 경계를 유도하며, 미약한 조건 하에서도 CDC가 편향을 줄임을 증명한다.
• Q-네트워크와 가치함수를 정책 및 값 제약의 명시적 정규화 항을 포함한 수정된 벨먼 갱신을 통해 업데이트하는 학습 절차를 구현한다.

실험 결과

연구 질문

• RQ1 온라인 상호작용 없이도 이중 정규화 접근이 연속 행동 배치 RL에서 과대평가 편향을 효과적으로 줄일 수 있는가?
• RQ2 행동 정책에서의 정책 분리 제약이 오프라인 환경에서 일반화 능력 향상과 외삽 오류 감소에 어떻게 기여하는가?
• RQ3 값제약 정규화 항이 분포 외 상태-행동 영역에서 낙관적인 Q-값 추정의 크기를 상당히 줄이는가?
• RQ4 D4RL 벤치마크에서 다양한 오프라인 데이터 수집 전략과 환경에서 CDC는 어떻게 성능을 발휘하는가?
• RQ5 다양한 데이터 분포와 네트워크 아키텍처 하에서 과대평가 오차에 대한 이론적 경계가 경험적으로 검증될 수 있는가?

주요 결과

• CDC는 D4RL 라이브러리의 모든 32개 연속 제어 벤치마크에서 최상의 성능을 기록하며, 오프라인 데이터 수집에 사용된 행동 정책의 종류에 관계없이 기존 방법을 능가한다.
• 표준 오프폴리시 알고리즘 대비 더 정확한 Q-값 추정과 수익 분포의 낮은 분산을 통해 과대평가 편향이 상당히 감소함을 입증한다.
• 값제약 정규화 항은 특히 데이터 부족으로 인해 불확실성이 증가하는 분포 외 영역에서 낙관적인 Q-값 추정을 효과적으로 억제한다.
• 정책제약 정규화 항은 행동 정책에서의 이탈을 제한하여, 허구적이거나 잘못된 가치 추정을 악용하는 정책을 배포할 위험을 줄인다.
• 경험적 결과로는 CDC가 안정적인 학습 동역학을 유지하며, 특히 고차원 연속 제어 과제에서 표준 액터-크리틱 방법에서 관찰되는 catastrophic 과대평가를 피하는 것으로 나타났다.
• 이론적 분석을 통해 CDC가 베이스라인 방법보다 기대 과대평가 오차를 줄임을 확인하였으며, OOD 샘플 수가 증가할수록 경계가 더욱 강화됨을 보였다.