[논문 리뷰] When Data Geometry Meets Deep Function: Generalizing Offline Reinforcement Learning

Jianxiong Li, Xianyuan Zhan외 4명|arXiv (Cornell University)|2022. 05. 23.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 데이터셋 기하학을 상태 조건부 거리 함수를 통해 활용함으로써 데이터 분포를 초월한 일반화를 향상시키는 새로운 오프라인 강화학습 방법 DOGE를 제안한다. 훈련 데이터에 기하학적으로 가까운 정책을 제약함으로써 DOGE는 딥 Q 함수를 사용한 더 안전한 외삽을 가능하게 하며, D4RL 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하면서도 이전 방법들에 비해 과도한 경계성(over-conservatism)을 감소시킨다.

ABSTRACT

In offline reinforcement learning (RL), one detrimental issue to policy learning is the error accumulation of deep Q function in out-of-distribution (OOD) areas. Unfortunately, existing offline RL methods are often over-conservative, inevitably hurting generalization performance outside data distribution. In our study, one interesting observation is that deep Q functions approximate well inside the convex hull of training data. Inspired by this, we propose a new method, DOGE (Distance-sensitive Offline RL with better GEneralization). DOGE marries dataset geometry with deep function approximators in offline RL, and enables exploitation in generalizable OOD areas rather than strictly constraining policy within data distribution. Specifically, DOGE trains a state-conditioned distance function that can be readily plugged into standard actor-critic methods as a policy constraint. Simple yet elegant, our algorithm enjoys better generalization compared to state-of-the-art methods on D4RL benchmarks. Theoretical analysis demonstrates the superiority of our approach to existing methods that are solely based on data distribution or support constraints.

연구 동기 및 목표

• 기존 오프라인 RL 방법들이 데이터 분포 내에서 정책을 제한함으로써 일반화에 악영향을 미치는 과도한 경계성을 해결한다.
• 데이터셋 기하학에 따라 안내받는 경우, 딥 Q 함수가 분포 외부(OOD) 영역에서 효과적으로 일반화할 수 있는지 조사한다.
• 딥 네트워크의 내삽 능력을 활용하면서도 OOD 영역에서 신뢰할 수 없는 외삽을 방지하는 방법을 개발한다.
• 표준 액터-크리틱 프레임워크에 기하학적 인식 편향을 통합할 수 있는 플러그인 제약 메커니즘을 설계한다.
• 온라인 상호작용 없이도 또는 복잡한 아키텍처 변경 없이도 D4RL 벤치마크에서 개선된 일반화 성능을 입증한다.

제안 방법

• 훈련 데이터셋의 볼록껍질에 대해 상태-행동 쌍의 기하학적 근접도를 측정하는 상태 조건부 거리 함수를 제안한다.
• 액터-크리틱 프레임워크에서 이 거리 함수를 학습 가능하고 미분 가능한 제약 조건으로 사용하여 정책 업데이트를 정규화한다.
• 미니배치 내 거리의 상위 분위수를 나타내는 하이퍼파라미터 $ G $ 를 도입하여 OOD 탐색의 정도를 제어한다.
• 학습된 거리 기반으로 데이터에서 너무 멀리 떨어진 행동에 대해 정책이 페널티를 받는 제약 최적화 목표를 설정한다.
• 제약 강도와 정책 최적화의 균형을 맞추기 위해 라그랑주 승수 기반의 리스크 조정 기법을 사용하여 거리 함수를 주요 RL 구성 요소와 함께 엔드 투 엔드로 훈련한다.
• 최소한의 아키텍처 수정으로 표준 오프라인 RL 알고리즘(SAC 등)에 적용 가능하게 하여 즉시 통합이 가능한 플러그인 방식을 구현한다.

실험 결과

연구 질문

• RQ1 훈련 데이터에 기하학적 근접도에 따라 안내받는 경우, 딥 Q 함수가 분포 외부(OOD) 영역에서 신뢰성 있게 일반화할 수 있는가?
• RQ2 정책 제약에 데이터셋 기하학을 통합함으로써 표본 효율성이나 안전성에 손상 없이 오프라인 RL의 일반화 성능을 향상시킬 수 있는가?
• RQ3 거리 임계값(하이퍼파라미터 $ G $ 를 통해 설정)의 선택이 OOD 일반화 성능과 경계성 사이의 트레이드오프에 어떻게 영향을 미치는가?
• RQ4 단순한 기하학적 인식 제약이 오직 데이터 분포나 지원 제약에 의존하는 기존 방법들보다 우월한 성능을 낼 수 있는가?
• RQ5 하이퍼파라미터 $ G $, $ eta $, $ N $ 의 변화에 대해 제안된 방법이 얼마나 강인한가?

주요 결과

• DOGE는 D4RL 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, Mujoco 및 AntMaze 환경에서 SAC, TD3, CQL 등의 SOTA 방법들을 초월한다.
• 과도한 경계성이 크게 감소하였다: 예를 들어, hopper-m-r-v2 환경에서 $ G=50\text{th} $ 분위수일 경우 DOGE는 76.2±17.7의 성능을 기록하여 더 경계적인 베이스라인들을 능가했다.
• 아블레이션 스터디 결과, $ G=50\text{th} $ 분위수가 다양한 작업에서 탐색과 안전성의 균형을 잘 맞추는 강건한 기본 설정임을 확인하였다.
• $ G=30\text{th} $ 분위수를 사용할 경우 제약 강도가 지나치게 강해져 $ \theta \to \theta_{\text{old}} $ 가 발생하고, 최적성 격차가 지배적으로 작용하면서 성능 저하가 발생하였다.
• $ G=90\text{th} $ 또는 $ 100\text{th} $ 분위수를 사용할 경우 가치 과대평가 및 분산 증가로 이어져, hopper-m-r-v2 및 walker2d-m-r-v2와 같은 고분산 작업에서 성능 저하가 발생하였다.
• 하이퍼파라미터 $ \beta $ 및 $ N $ 의 변화에 대해 성능에 미치는 영향이 최소한이었으며, 이는 강력한 하이퍼파라미터 안정성을 시사한다.