[논문 리뷰] High-Confidence Policy Optimization: Reshaping Ambiguity Sets in Robust MDPs.

Bahram Behzadian, Reazul Hasan Russel외 1명|arXiv (Cornell University)|2019. 10. 23.

Formal Methods in Verification인용 수 2

한 줄 요약

이 논문은 표준 $L_1$ 노름을 초월하여 가중 $L_1$ 및 $L_\infty$ 노름을 사용하고, rough value function 추정치에서 유도된 학습 가능한 가중치를 활용하여 강력한 마르코프 결정 과정(Robust MDPs)에서의 모호성 집합의 형태를 설계하는 새로운 방법을 제안한다. 이 방법은 다양한 벤치마크에서 고신뢰도의 강력성 보장을 훨씬 더 날카롭게 제공하며, 강력성과 평균 케이스 성능 간의 트레이드오���을 향상시킨다.

ABSTRACT

Robust MDPs are a promising framework for computing robust policies in reinforcement learning. Ambiguity sets, which represent the plausible errors in transition probabilities, determine the trade-off between robustness and average-case performance. The standard practice of defining ambiguity sets using the $L_1$ norm leads, unfortunately, to loose and impractical guarantees. This paper describes new methods for optimizing the shape of ambiguity sets beyond the $L_1$ norm. We derive new high-confidence sampling bounds for weighted $L_1$ and weighted $L_\infty$ ambiguity sets and describe how to compute near-optimal weights from rough value function estimates. Experimental results on a diverse set of benchmarks show that optimized ambiguity sets provide significantly tighter robustness guarantees.

연구 동기 및 목표

• 표준 $L_1$-노름 모호성 집합이 제공하는 강력성 보장이 느슨하고 현실적으로 적용하기 어려운 한계를 해결한다.
• $L_1$을 초월하여 모호성 집합의 형태를 재정의함으로써 강력성과 평균 케이스 성능 간의 트레이드오���을 향상시킨다.
• 가중 $L_1$ 및 가중 $L_\infty$ 모호성 집합을 위한 고신뢰도 샘플링 구간을 개발하여 더 날카로운 불확실성 정량화를 가능하게 한다.
• 정확한 모델 지식에 의존하지 않고도 near-optimal 가중치를 계산할 수 있는 방법을 제안하여 모호성 집합의 형태를 최적화한다.
• 다양한 강화 학습 벤치마크에서 최적화된 모호성 집합이 실제로 훨씬 향상된 강력성 보장을 제공함을 실증적으로 입증한다.

제안 방법

• 가중 $L_1$ 및 가중 $L_\infty$ 노름을 도입하여 전이 확률 추정치에서의 불확실성 영역의 형태를 영리하게 조정할 수 있는 모호성 집합을 정의한다.
• 이러한 가중 모호성 집합을 위한 새로운 고신뢰도 샘플링 구간을 유도하여 자료가 제한된 상황에서도 통계적으로 신뢰할 수 있는 보장을 확보한다.
• 정확한 전이 확률이 가용하지 않을 경우에도 모호성 집합의 가중치를 근사적으로 계산할 수 있는 절차를 제안한다. 이는 정확한 모델 지식에 대한 의존도를 줄인다.
• 최적화된 모호성 집합을 강력한 MDP 솔버에 통합하여 강력성과 평균 케이스 성능을 균형 잡은 정책을 계산한다.
• 정확한 전이 모델이 필요로 하지 않는 부트스트랩드 값 함수 추정 기반 접근법을 사용하여 가중치 선택을 안내한다.
• 표준 벤치마크 환경에 이 방법을 적용하여 강력성과 성능 트레이드오플의 실증적 평가를 수행한다.

실험 결과

연구 질문

• RQ1 가중 $L_1$ 및 $L_\infty$ 노름을 사용해 정의된 모호성 집합이 표준 $L_1$ 기반 집합보다 더 날카로운 고신뢰도 강력성 보장을 제공할 수 있는가?
• RQ2 정확한 전이 확률이 가용하지 않을 경우 모호성 집합의 가중치를 효과적으로 학습하거나 추정할 수 있는가?
• RQ3 최적화된 모호성 집합이 실제 강화 학습 벤치마크에서 강력성-성능 트레이드오플에 얼마나 기여하는가?
• RQ4 모호성 집합의 형태를 유도하는 데 사용된 rough value function 추정치의 영향이 최종 정책 성능에 미치는 영향은 어떠한가?
• RQ5 제안된 고신뢰도 샘플링 구간은 기존의 구간과 비교해 보다 날카롭고 실용적인가?

주요 결과

• 제안된 가중 $L_1$ 및 $L_\infty$ 모호성 집합은 표준 $L_1$ 기반 집합에 비해 훨씬 더 날카로운 고신뢰도 강력성 보장을 제공한다.
• 새로운 모호성 집합 유형을 위한 고신뢰도 샘플링 구간이 도출되었으며, 이는 자료가 제한된 상황에서도 통계적으로 타당한 불확실성 정량화를 가능하게 한다.
• 근사적인 값 함수 추정치로부터 모호성 집합의 near-optimal 가중치를 계산할 수 있으며, 이는 정확한 모델 정보에 대한 의존도를 감소시킨다.
• 다양한 벤치마크에서의 실증 평가 결과, 최적화된 모호성 집합이 평균 케이스 성능을 희생시키지 않고도 강력성 향상을 이룬다.
• 모든 테스트 환경에서 더 날카로운 강력성 보장을 달성하여, 형태 적응형 모호성 집합의 효과성을 입증한다.
• 특히 자료가 부족한 조건에서 표준 $L_1$ 기반 강력한 MDP보다 강력성과 실용성 측면에서 뛰어난 성능을 발휘한다.