[논문 리뷰] A Bayesian Approach to Robust Reinforcement Learning

Esther Derman, Daniel J. Mankowitz외 2명|arXiv (Cornell University)|2019. 05. 20.

Reinforcement Learning in Robotics참고 문헌 31인용 수 20

한 줄 요약

이 논문은 동적 불확실성 집합을 온라인 학습 중에 적응적으로 조정함으로써 낙관적 성향을 줄이고도 강건성을 유지하는 Bayesian 접근법을 제안한다. 이는 불확실성 강건 벨만 방정식(Uncertainty Robust Bellman Equation, URBE)을 사용하며, DQN-URBE 알고리즘은 이 방법을 고차원 환경으로 확장하여 변화하는 동역학에 더 빠르게 적응하고 기존의 고정 불확실성 기반 강건 방법에 비해 성능 트레이드오프를 개선한다.

ABSTRACT

Robust Markov Decision Processes (RMDPs) intend to ensure robustness with respect to changing or adversarial system behavior. In this framework, transitions are modeled as arbitrary elements of a known and properly structured uncertainty set and a robust optimal policy can be derived under the worst-case scenario. In this study, we address the issue of learning in RMDPs using a Bayesian approach. We introduce the Uncertainty Robust Bellman Equation (URBE) which encourages safe exploration for adapting the uncertainty set to new observations while preserving robustness. We propose a URBE-based algorithm, DQN-URBE, that scales this method to higher dimensional domains. Our experiments show that the derived URBE-based strategy leads to a better trade-off between less conservative solutions and robustness in the presence of model misspecification. In addition, we show that the DQN-URBE algorithm can adapt significantly faster to changing dynamics online compared to existing robust techniques with fixed uncertainty sets.

연구 동기 및 목표

• 기존의 직사각형 불확실성 집합과 고정된 최악의 경우 가정으로 인해 발생하는 전통적 강건 MDP(RMDP)의 과도한 낙관적 성향을 해결하기 위해.
• RMDP에서 온라인으로 데이터 기반으로 불확실성 집합을 학습하고 변화하는 동역학에 적응할 수 있도록 하기 위해.
• 고차원 영역에서 강건성과 성능의 균형을 이루는 확장 가능한 Bayesian 알고리즘을 개발하기 위해.
• 불확실성 계획 수단에 대한 의존도를 줄이기 위해, 적대적 변화를 탐지할 수 있는 분산 기반 탐색 보너스를 통합하기 위해.

제안 방법

• 불확실성 벨만 방정식(UBE)의 Bayesian 변형인 불확실성 강건 벨만 방정식(URBE)을 도입하여, 사후 분산을 모델링하여 탐색을 이끌어낸다.
• 동적 프로그래밍을 사용해 URBE를 추정함으로써, 새로운 관측치에 기반한 불확실성 집합의 반복적 업데이트를 가능하게 한다.
• Q-값의 사후 분포에서 유도된 분산 보너스를 활용하여 적대적 행동의 변화를 탐지하고 강건성 수준을 조정한다.
• 연속적이고 고차원적인 환경에서 확장 가능하고 온라인 학습이 가능한 DQN-URBE를 개발한다. 이는 URBE를 통합한 딥 Q-네트워크 변종이다.
• Bayesian 추론을 사용해 실시간으로 불확실성 집합을 업데이트함으로써 강건성을 유지하며, 고정되거나 오프라인으로 구성된 불확실성 집합을 피한다.

실험 결과

연구 질문

• RQ1 Bayesian 프레임워크는 모델 불일치 상황에서도 강건성을 유지하면서 RMDP의 과도한 낙관적 성향을 줄일 수 있는가?
• RQ2 강화학습 중에 데이터 기반으로 불확실성 집합을 온라인에서 어떻게 학습하고 적응시킬 수 있는가?
• RQ3 사후 분산을 통합함으로써 탐색 성능 향상과 과도한 낙관적 성향 감소에 어느 정도 기여하는가?
• RQ4 URBE 기반의 딥 강화학습 알고리즘은 고정 불확실성 기반 강건 방법보다 변화하는 동역학에 더 빠르게 적응할 수 있는가?

주요 결과

• DQN-URBE는 평균 수익과 수렴 속도 측면에서 표준 강건 DQN보다 우수한 강건성과 성능의 균형을 달성한다.
• 동역학의 분포 이탈 이후에 상당히 더 빠르게 회복되며, 훈련 곡선상의 수직선은 간섭 이후 빠른 회복을 나타낸다.
• URBE 기반 정책은 초기에 더 천천히 수렴하지만, 변화 후 더 높은 최대 보상을 달성한다. 반면, 강건 DQN은 변화 후 회복에 실패한다.
• URBE의 분산 보너스는 안전한 탐색과 적응형 강건성을 가능하게 하여, 기존의 RMDP 계획 방식에 비해 과도한 낙관적 성향을 줄인다.
• URBE는 고차원 영역, 특히 CartPole 및 화성 탐사로봇(Mars Rover) 환경에 효과적으로 스케일링되어 실용적 적용 가능성을 입증한다.