[논문 리뷰] Supported Policy Optimization for Offline Reinforcement Learning

Jialong Wu, Haixu Wu외 3명|arXiv (Cornell University)|2022. 02. 13.

Reinforcement Learning in Robotics인용 수 11

한 줄 요약

이 논문은 오프라인 강화학습을 위한 플러그인 방식의 정규화 기법인 지원 정책 최적화(Supported Policy Optimization, SPOT)를 제안한다. SPOT는 행동 정책의 밀도를 VAE 기반 추정기로 명시적으로 모델링하여 지원 제약 조건을 강제한다. SPOT는 D4RL 벤치마크에서 최신 기준 성능을 달성하며, 표준 오프폴리시 알고리즘과의 호환성을 유지함으로써 강력한 온라인 피니팅을 가능하게 한다.

ABSTRACT

Policy constraint methods to offline reinforcement learning (RL) typically utilize parameterization or regularization that constrains the policy to perform actions within the support set of the behavior policy. The elaborative designs of parameterization methods usually intrude into the policy networks, which may bring extra inference cost and cannot take full advantage of well-established online methods. Regularization methods reduce the divergence between the learned policy and the behavior policy, which may mismatch the inherent density-based definition of support set thereby failing to avoid the out-of-distribution actions effectively. This paper presents Supported Policy OpTimization (SPOT), which is directly derived from the theoretical formalization of the density-based support constraint. SPOT adopts a VAE-based density estimator to explicitly model the support set of behavior policy and presents a simple but effective density-based regularization term, which can be plugged non-intrusively into off-the-shelf off-policy RL algorithms. SPOT achieves the state-of-the-art performance on standard benchmarks for offline RL. Benefiting from the pluggable design, offline pretrained models from SPOT can also be applied to perform online fine-tuning seamlessly.

연구 동기 및 목표

• 기존 정책 제약 방법의 한계, 특히 추론 효율성과 분포 외 행동 방지의 효과 간 상충 관계를 해결한다.
• 이론적 밀도 기반 지원 제약 조건을 직접 강제하는 비침습적, 플러그인 방식의 정규화 기법을 개발한다.
• 표준 오프폴리시 알고리즘을 사용해 고성능 오프라인 사전학습을 수행한 후, 잘 알려진 온라인 RL 알고리즘을 활용해 원활한 온라인 피니팅을 가능하게 한다.
• 침습적인 아키텍처 수정이나 분포가 일치하지 않는 발산 기반 정규화에 대한 의존도를 줄인다.

제안 방법

• 이론적 정식화에 기반한 밀도 기반 정규화 항을 도입하여, 정책이 행동 정책의 지원 집합 내에 있는 행동만을 선택하도록 직접 제약한다.
• 행동 정책의 밀도를 명시적으로 모델링하기 위해 변분 오토인코더(Variational Autoencoder, VAE) 기반의 밀도 추정기를 활용하여 오프라인 데이터로부터 정확한 지원 집합 추정을 가능하게 한다.
• 표준 오프폴리시 RL 알고리즘(예: TD3)에 비침습적이고 플러그인 방식으로 정규화 항을 통합하여, 추론 시 단일 순전파만으로도 구현 가능하도록 한다.
• 정책 최적화 목표와 밀도 제약 간 균형을 맞추기 위해 학습 가능한 정규화 가중치를 사용하며, 온라인 피니팅 동안 감쇠 스케줄을 적용한다.
• 오프라인과 온라인 학습 목표 간 격차를 최소화하여 표준 온라인 RL 목표와 호환성을 확보함으로써, 온라인 적응으로의 효과적인 전이를 가능하게 한다.
• 훈련 중에 VAE 기반 밀도 추정기를 활용하여 정규화 손실을 계산하며, 이는 저밀도로 추정된 행동을 처벌한다.

실험 결과

연구 질문

• RQ1 비침습적 밀도 기반 정규화 방법이 기존 파arameterization 기반 및 발산 기반 정규화 방법보다 오프라인 RL에서 더 우수한 성능을 내는가?
• RQ2 VAE 기반 밀도 추정기를 통해 행동 정책의 지원 집합을 명시적으로 모델링하면 도전적인 오프라인 RL 벤치마크에서 더 나은 일반화 및 강건성을 달성하는가?
• RQ3 SPOT가 표준 D4RL 오프라인 RL 벤치마크에서 최신 기준 성능을 달성하면서도 효과적인 온라인 피니팅을 가능하게 하는가?
• RQ4 기존 파arameterization 기반 및 정규화 기반 방법과 비교해 SPOT의 추론 효율성과 훈련 오버헤드는 어떠한가?
• RQ5 정규화 가중치의 선택이 성능에 미치는 영향은 어느 정도이며, 광범위한 온라인 평가 없이도 이를 설정할 수 있는가?

주요 결과

• SPOT는 D4RL 오프라인 RL 벤치마크에서 최신 기준 성능을 달성하여, MuJoCo 및 AntMaze 환경에서 IQL 및 TD3+BC와 같은 강력한 베이스라인을 압도한다.
• AntMaze 환경에서 SPOT는 대규모 미로에서 최종 수익률 90.8을 기록하여 가장 강력한 베이스라인인 IQL(73.4)을 크게 앞서며, 초기 상태에서 온라인 학습을 수행한 경우보다도 뛰어난 성능을 보였다.
• SPOT는 오프라인 사전학습 이후에 원활한 온라인 피니팅을 가능하게 하여, AntMaze 대규모 미로에서 초기 오프라인 성능 대비 17.4점의 향상을 달성했다.
• SPOT의 추론은 계산적으로 효율적이며, 정책 네트워크의 단일 순전파만으로도 가능하여 BCQ보다 2배 이상 빠르며, TD3+BC와 유사한 성능을 보였다.
• SPOT의 훈련 시간은 TD3+BC와 비슷하거나 약간 높을 뿐만 아니라, BCQ와 같은 파arameterization 기반 방법보다는 훨씬 낮아 성능와 효율성 간의 유리한 트레이드오프를 보였다.
• 제거 실험을 통해 밀도 기반 정규화가 발산 기반 정규화보다 분포 외 행동을 방지하는 데 더 효과적임을 확인하였으며, SPOT의 이론적 기반을 검증하였다.