[논문 리뷰] Beyond Confidence Regions: Tight Bayesian Ambiguity Sets for Robust MDPs

Marek Petrik, Reazul Hasan Russell|arXiv (Cornell University)|2019. 02. 20.

Reinforcement Learning in Robotics참고 문헌 30인용 수 19

한 줄 요약

이 논문은 농도 집합의 신뢰 영역에 의존하지 않고 계층적 사전 분포와 정책별 최적화를 사용하여 강화 학습의 낙관적 MDP에서 더 날카운 감도 집합을 구성하기 위한 베이지안 방법 RSVF를 제안한다. 이는 안전 위반이 없이 정책 수익의 상한을 크게 낮추며, 정보가 부족한 경우와 정보가 풍부한 경우 모두에서 허프딩과 베이지안 신뢰구간 기반 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Robust MDPs (RMDPs) can be used to compute policies with provable worst-case guarantees in reinforcement learning. The quality and robustness of an RMDP solution are determined by the ambiguity set---the set of plausible transition probabilities---which is usually constructed as a multi-dimensional confidence region. Existing methods construct ambiguity sets as confidence regions using concentration inequalities which leads to overly conservative solutions. This paper proposes a new paradigm that can achieve better solutions with the same robustness guarantees without using confidence regions as ambiguity sets. To incorporate prior knowledge, our algorithms optimize the size and position of ambiguity sets using Bayesian inference. Our theoretical analysis shows the safety of the proposed method, and the empirical results demonstrate its practical promise.

연구 동기 및 목표

• 농도 집합의 신뢰 영역을 사용하는 전통적인 RMDP 방법의 과도한 보수성 문제를 해결하기 위해, 농도 불확실성 부등식에서 유도된 신뢰 영역을 사용하지 않는 것.
• 사전 지식을 통합하여 감도 집합을 좁히고 강건한 정책 보장을 향상시키기 위한 데이터 기반의 베이지안 프레임워크를 개발하기 위해.
• 안전성을 포기하지 않고 배치 강화 학습에서 더 강력하고 실용적인 강건성 보장을 제공하기 위해.
• 감도 집합이 동시에 모든 정책을 커버해야 하는 것뿐만 아니라 최적의 정책을 위해 최적화될 수 있음을 보여주어 보수성을 줄이기 위해.

제안 방법

• RSVF(Robust Safe Value Function)를 제안하며, 베이지안 추론과 정책별 목적 함수를 사용하여 감도 집합의 크기와 위치를 반복적으로 최적화한다.
• 계층적 베이지안 모델을 사용하여 전이 확률에 대한 사전 지식를 표현함으로써 더 좁고 더 정보가 풍부한 감도 집합을 가능하게 한다.
• 표준적인 신뢰 영역을 대체로, 동시에 모든 정책을 커버할 필요가 없는 정책 적응형 감도 집합을 도입하여 보수성을 감소시킨다.
• 유한 표본 조건 하에서 이론적 안전 보장을 보장하기 위해 새로 유도된 L1 농도 불확실성 부등식을 사용한다.
• 감도 집합 최적화와 RMDP 해결을 피드백 루프로 통합하여 사후 분포의 반복적 개선을 통해 경계를 정교화한다.
• 베이지안 신뢰구간(BCI)을 기준선으로 삼고, 정책 인식 기반 적응을 추가하여 날카운 감도 집합을 향상시킨다.

실험 결과

연구 질문

• RQ1 유한 표본 조건 하에서 강건한 안전 보장을 유지하면서도, 농도 집합을 신뢰 영역보다 더 날카운 감도 집합으로 구성할 수 있는가?
• RQ2 어떻게 도메인 사전 지식를 감도 집합 구성에 효과적으로 통합하여 강건성과 보수성을 향상시킬 수 있는가?
• RQ3 모든 정책을 동시에 고려하는 것이 아니라 최적의 정책을 위해 감도 집합을 최적화하면 배치 RL 환경에서 성능이 향상되는가?
• RQ4 베이지안 추론 방법이 분포에 무관한 신뢰 영역보다 정책 수익의 하한을 더 날카운 감도 집합으로 제공할 수 있는가?

주요 결과

• RSVF는 허프딩 기반의 신뢰 영역과 베이지안 신뢰구간(BCI)보다 정책 수익의 하한을 크게 낮춘다. 특히 정보가 풍부한 사전 분포를 사용할 경우 더욱 두드러진다.
• 균일한 사전 분포를 사용한 RiverSwim 도메인에서, RSVF는 모든 방법이 0% 안전 위반을 기록함에도 불구하고 BCI 및 허프딩 경계보다 회귀를 크게 줄였다.
• 지수 모집단 모델에서 정보가 풍부한 사전 분포를 사용할 경우, RSVF는 BCI를 초월하여 경계를 더 좁히며 사전 분포 통합의 가치를 입증했다.
• 모든 방법, RSVF 포함, 실험 전반에서 0% 안전 위반을 유지하여 이론적 안전 보장을 확인했다.
• 실제로도 보수적인 성능를 유지하므로, 비직사각형 또는 L2 형태의 감도 집합을 통해 향상 가능성이 존재한다.