[논문 리뷰] Uncertainty Weighted Actor-Critic for Offline Reinforcement Learning

Yue Wu, Shuangfei Zhai외 5명|arXiv (Cornell University)|2021. 05. 17.

Reinforcement Learning in Robotics참고 문헌 43인용 수 20

한 줄 요약

이 논문은 드롭아웃 기반의 불확실성 추정을 사용하여 분포 외(out-of-distribution, OOD) 상태-행동 쌍을 탐지하고, 벨만 업데이트에서 이들의 기여도를 낮추는 방식으로 오프라인 강화학습을 향상시키는 Uncertainty Weighted Actor-Critic (UWAC)를 제안한다. UWAC는 특히 희소한 인간 시범 데이터셋에서 상태최적 성능을 달성하며, 훈련 안정성 향상과 OOD 백업으로 인한 오차 전파 감소를 동시에 달성한다.

ABSTRACT

Offline Reinforcement Learning promises to learn effective policies from previously-collected, static datasets without the need for exploration. However, existing Q-learning and actor-critic based off-policy RL algorithms fail when bootstrapping from out-of-distribution (OOD) actions or states. We hypothesize that a key missing ingredient from the existing methods is a proper treatment of uncertainty in the offline setting. We propose Uncertainty Weighted Actor-Critic (UWAC), an algorithm that detects OOD state-action pairs and down-weights their contribution in the training objectives accordingly. Implementation-wise, we adopt a practical and effective dropout-based uncertainty estimation method that introduces very little overhead over existing RL algorithms. Empirically, we observe that UWAC substantially improves model stability during training. In addition, UWAC out-performs existing offline RL methods on a variety of competitive tasks, and achieves significant performance gains over the state-of-the-art baseline on datasets with sparse demonstrations collected from human experts.

연구 동기 및 목표

• 부트스트랩 과정에서 분포 외(out-of-distribution, OOD) 상태-행동 쌍으로 인한 오프라인 강화학습의 불안정성과 성능 저하 문제를 해결하기 위해.
• OoD 샘플에서 정확하지 않은 Q-값 추정으로 인해 발생하는 파괴적인 오차 전파를 줄여, 일반적으로 액터-크리틱 훈련을 불안정하게 만드는 문제를 해결하기 위해.
• 추가 모델이나 손실 항목 없이도 일반화 성능을 향상시키는 경량이면서 효과적인 방법을 개발하기 위해.
• 불확실성 추정이 오프라인 RL의 안정성을 높이고, 희소한 전문가 시범 데이터에서 성능 향상에 기여할 수 있음을 입증하기 위해.

제안 방법

• 모델 추론 중 드롭아웃을 사용하여 모델 불확실성을 추정하고, 다중 전방 전파 간의 분산을 각 상태-행동 쌍의 불확실성 점수로 간주한다.
• 고도의 불확실성 있는 타깃에 대해 가중치를 낮추기 위해 학습된 스케일링 인자 β를 사용하여 가중치가 부여된 벨만 업데이트를 적용한다.
• 표준 액터-크리틱 손실에 직접 불확실성 가중치를 통합하여, 고불확실성 타깃의 영향력을 줄이는 방식으로 벨만 손실을 수정한다.
• 고차원 제어 과업인 Adroit와 같은 과제에서 안정성을 향상시키기 위해 Q-네트워크에 스펙트럴 정규화를 적용한다.
• 불확실성 가중치 하이퍼파rameter β를 조정하여 불확실성 민감도와 훈련 수렴 간의 균형을 이룬다.
• 기준선 방법들(예: BEAR)과 동일한 네트워크 아키텍처와 하이퍼파rameter를 유지하여 공정한 비교를 보장한다.

실험 결과

연구 질문

• RQ1 드롭아웃 기반 불확실성 추정이 오프라인 강화학습에서 분포 외 상태-행동 쌍을 효과적으로 탐지할 수 있는가?
• RQ2 벨만 업데이트에서 고불확실성 타깃의 가중치를 낮추는 것이 오프라인 RL의 훈련 안정성과 최종 성능 향상에 기여하는가?
• RQ3 UWAC는 희소한 인간 시범 데이터셋에서 기존 오프라인 RL 방법들을 능가할 수 있는가?
• RQ4 앙상블 기반 불확실성 추정 기법과 같은 다양한 불확실성 추정 기법 간에도 불확실성 가중치 메커니즘이 강건한가?

주요 결과

• UWAC는 부드러운 수익 곡선과 더 제어된 Q-값 타깃을 통해 기준선 방법 대비 훈련 안정성이 크게 향상됨을 보여준다.
• 희소한 인간 시범 데이터셋인 relocate-expert에서 UWAC는 기준선 BEAR보다 평균 수익이 20% 높으며, BEAR는 랜덤 행동을 능가하지 못함을 확인했다.
• AntMaze 및 Adroit 환경을 포함한 표준 오프라인 RL 벤치마크에서 UWAC는 BEAR 및 REM과 같은 최첨단 방법들을 능가한다.
• 드롭아웃을 앙상블 기반 불확실성 추정으로 대체해도 성능이 유지됨을 통해, 다양한 불확실성 추정 기법 간에도 일반화 가능함을 입증했다.
• 표준편차 또는 분산을 기반으로 가중치를 낮추는 방식에 차이가 없음을 확인하여, 불확실성 가중치 메커니즘이 강건함을 검증했다.
• 스펙트럴 정규화는 안정성을 향상시키지만 OOD 문제를 단독으로 해결하지 못하며, 좁은 데이터셋에서의 성능 향상에는 UWAC의 불확실성 가중치가 필수적임을 보여주었다.