[논문 리뷰] Optimizing Percentile Criterion Using Robust MDPs

Bahram Behzadian, Reazul Hasan Russel외 2명|arXiv (Cornell University)|2019. 10. 23.

Reinforcement Learning in Robotics참고 문헌 31인용 수 5

한 줄 요약

이 논문은 데이터 부족 상황에서 강화학습의 백분위수 기준을 최적화하기 위한 새로운 방법을 제안한다. 이는 강력한 MDPs(Robust MDPs, RMDPs)에서 불확실성 집합의 범위(span)를 최소화하는 방식으로 이루어진다. 가중치가 부여된 $L_1$ 및 $L_\infty$ 노름을 사용하여 불확실성 집합의 형태를 조정함으로써 성능 손실을 크게 감소시키며, 균일한 노름 기반 기준 대비 베이지안 수익 보장에서는 최대 2.8배 향상되고, 빈도주의 수익 보장에서는 최대 1.6배 향상된다.

ABSTRACT

We address the problem of computing reliable policies in reinforcement learning problems with limited data. In particular, we compute policies that achieve good returns with high confidence when deployed. This objective, known as the \emph{percentile criterion}, can be optimized using Robust MDPs~(RMDPs). RMDPs generalize MDPs to allow for uncertain transition probabilities chosen adversarially from given ambiguity sets. We show that the RMDP solution's sub-optimality depends on the spans of the ambiguity sets along the value function. We then propose new algorithms that minimize the span of ambiguity sets defined by weighted $L_1$ and $L_\infty$ norms. Our primary focus is on Bayesian guarantees, but we also describe how our methods apply to frequentist guarantees and derive new concentration inequalities for weighted $L_1$ and $L_\infty$ norms. Experimental results indicate that our optimized ambiguity sets improve significantly on prior construction methods.

연구 동기 및 목표

• 낮은 데이터 강화학습에서 정책의 신뢰성을 향상시키기 위해 고신뢰도 수익 보장을 최대화하는 것.
• 기존 방법에서 불확실성 집합의 형태가 잘못되어 RMDP 정책의 최적화가 떨어지는 문제를 해결하는 것.
• 가치 함수 방향에 따라 불확실성 집합의 범위를 최소화함으로써 성능 경계를 향상시키는 방법을 개발하는 것.
• 베이지안 및 빈도주의 설정 모두에서 가중치가 부여된 $L_1$ 및 $L_\infty$ 노름에 대한 새로운 집중 불등식을 유도하는 것.
• 범위 최적화된 불확실성 집합이 표준 구성 방식보다 훨씬 날카운 수익 보장을 제공한다는 것을 경험적으로 검증하는 것.

제안 방법

• 값 함수 방향에 따라 불확실성 집합의 범위에 의존하는 RMDPs에 대한 새로운 성능 손실 경계를 제안하며, 그들의 부피가 아니라 범위에 따라 결정된다.
• 가중치가 부여된 $L_1$ 및 $L_\infty$ 노름을 통해 정의된 비대칭 불확실성 집합을 도입하여 전이 확률의 불확실성을 더 잘 포착한다.
• 불확실성 집합의 범위를 최소화하기 위해 이러한 노름의 가중치를 최적화하는 선형 시간 알고리즘을 개발하여 강건성을 향상시킨다.
• 베이지안 및 빈도주의 불확실성 정량화를 뒷받침하기 위해 가중치가 부여된 $L_1$ 및 $L_\infty$ 노름에 대한 새로운 고신뢰도 집중 불등식을 유도한다.
• 최적화된 불확실성 집합을 RMDP 프레임워크 내에 적용하여 지식 부족 불확실성 하에서 더 날카운 수익 보장을 갖는 정책을 계산한다.
• 두 단계 접근법을 활용한다: 먼저 불확실성 집합의 범위를 최소화하기 위해 가중치를 최적화하고, 그 다음 샘플링 보장을 사용하여 불확실성 집합의 크기를 校정한다.

실험 결과

연구 질문

• RQ1 값 함수 방향에 따라 불확실성 집합의 범위가 RMDP 정책의 성능 손실에 어떤 영향을 미치는가?
• RQ2 가중치가 부여된 $L_1$ 및 $L_\infty$ 노름을 사용하여 불확실성 집합의 형태를 최적화하면, 균일한 노름 구성 방식에 비해 RMDP 정책의 성능 손실을 줄일 수 있는가?
• RQ3 베이지안 및 빈도주의 설정에서 RMDPs의 불확실성 정량화를 뒷받침하는 가중치가 부여된 $L_1$ 및 $L_\infty$ 노름에 대한 새로운 집중 불등식은 무엇인가?
• RQ4 범위 최적화된 불확실성 집합은 베이지안 및 빈도주의 설정 모두에서 수익 보장을 얼마나 향상시키는가?
• RQ5 제안된 방법의 계산 복잡도는 상태 공간 크기와 어떻게 상관관계가 있으며, 대규모 문제로 확장 가능한가?

주요 결과

• RMDP 정책의 성능 손실은 그들의 부피가 아니라 값 함수 방향에 따른 불확실성 집합의 범위에 의해 주로 결정된다.
• 가중치가 부여된 $L_1$ 및 $L_\infty$ 노름의 최적화로, 균일한 노름 기반 기준 대비 정규화된 베이지안 성능 손실이 기하 평균 2.8배 감소한다.
• 빈도주의 설정에서는 최적화된 불확실성 집합이 균일한 구성 대비 정규화된 성능 손실을 기하 평균 1.6배 감소시킨다.
• 제안된 방법은 더 나은 정책과 더 정확한 성능 경계를 동시에 계산함으로써 더 날카운 수익 보장을 달성한다.
• 제안된 알고리즘의 계산 복잡도는 낮게 유지되며, 불확실성 집합 가중치의 선형 시간 최적화를 수행한다.
• 다섯 가지 벤치마크 MDPs(RiverSwim, Machine Replacement, Population Growth, Inventory Management, Cart-Pole)에서의 경험 결과는 다양한 도메인에서 일관된 향상을 확인한다.