[논문 리뷰] Distributionally Robust Counterpart in Markov Decision Processes

P. L. Yu, Huan Xu|arXiv (Cornell University)|2015. 01. 29.

Risk and Portfolio Optimization참고 문헌 19인용 수 4

한 줄 요약

이 논문은 분포로 부터의 강건한 마르코프 결정 과정(MDPs)을 일반화하여, 중첩된 집합을 넘어서 분리된 및 선형으로 제약된 분포를 포함하는 애매함 집합의 구조를 확장함으로써, 매개변수 불확실성에 대한 더 유연한 모델링을 가능하게 한다. 제안된 방법은 역순 추론을 사용하여 일반화된 애매함 집합 내에서 가장 나쁜 경우의 분포에 대해 예상 성능을 최대화하는 강건한 정책을 계산하며, 다항식 시간 내에 해를 구할 수 있고, 시뮬레이션 연구에서 이전의 강건 및 분포로 부터의 강건한 접근법보다 뛰어난 성능을 보인다.

ABSTRACT

This paper studies Markov Decision Processes under parameter uncertainty. We adapt the distributionally robust optimization framework, and assume that the uncertain parameters are random variables following an unknown distribution, and seeks the strategy which maximizes the expected performance under the most adversarial distribution. In particular, we generalize previous study \cite{xu2012distributionally} which concentrates on distribution sets with very special structure to much more generic class of distribution sets, and show that the optimal strategy can be obtained efficiently under mild technical condition. This significantly extends the applicability of distributionally robust MDP to incorporate probabilistic information of uncertainty in a more flexible way.

연구 동기 및 목표

• 고정된 최악의 경우 가정을 초월하여 불확실한 매개변수에 대한 확률적 정보를 통합함으로써 MDP에서의 매개변수 불확실성을 다루기 위해.
• 이전 연구에서 사용된 제한적인 중첩된 집합 기반의 애매함 집합을 넘어서 분포로 부터의 강건한 MDP 프레임워크를 확장하기 위해.
• 분리된 및 선형으로 제약된 분포를 포함하는 일반화된 애매함 집합을 위한 해석 가능한 해법 방법을 개발하기 위해.
• 혼합 가우시안 및 다중 모달 불확실성 하에서의 기계 교체 및 경로 계획과 같은 실용적 문제에서 향상된 성능을 입증하기 위해.
• 더 풍부한 확률적 사전 정보를 활용하여 순차적 확률적 시스템에서 더 현실적이고 강건한 의사결정을 가능하게 하기 위해.

제안 방법

• 논문은 [18]에 영감을 받아, 불확실한 매개변수에 대해 중첩 및 분리된 신뢰 영역을 모두 허용하는 일반화된 애매함 집합 클래스를 도입한다.
• 모멘트 제약과 확률 경계를 사용하여 애매함 집합을 모델링함으로써 평균, 분산 및 기타 통계 정보를 통합할 수 있도록 한다.
• 애매함 집합 내에서 가장 나쁜 경우의 분포에 대해 예상 보상이 최대가 되는 분포로 부터의 강건한 정책을 계산하기 위해 벨먼 유형의 역순 추론 알고리즘을 개발한다.
• 이론적 조건이 약간의 조건을 만족할 경우, 이중성과 볼록 최적화 기법을 활용하여 강건한 MDP를 해석 가능한 선형 프로그램으로 변환한다.
• 일반적인 애매함 집합을 사용하는 유한 수평 및 무한 수평(할인된) MDP 모두를 지원한다.
• 다중 모달 불확실성을 효율적으로 처리하기 위해, 혼합 가우시안 분포를 모델링하는 데 사용되는 분리된 신뢰 구간을 허용함으로써, 다중 모달 불확실성을 효과적으로 처리한다.

실험 결과

연구 질문

• RQ1 분포로 부터의 강건한 MDP는 중첩된 구조에 제한되지 않는 애매함 집합으로 확장될 수 있는가? 이는 다중 모달 매개변수 분포의 더 나은 모델링을 가능하게 하는가?
• RQ2 평균, 분산 및 신뢰 구간과 같은 확률적 정보는 MDP의 애매함 집합에 체계적으로 통합될 수 있는가?
• RQ3 더 일반적인 애매함 집합을 사용할 경우, 결과로 도출된 분포로 부터의 강건한 MDP 문제는 여전히 계산적으로 해석 가능한가?
• RQ4 제안된 방법은 매개변수 불확실성 하에서 예상 성능 측면에서 명시적, 강건, 이전의 분포로 부터의 강건한 MDP 접근법보다 뛰어나게 성능을 발휘하는가?
• RQ5 일반화된 애매함 집합 프레임워크는 혼합 가우시안 보상 분포에서 관찰되는 실제 세계의 불확실성 패턴을 효과적으로 모델링할 수 있는가?

주요 결과

• 혼합 가우시안 보상이 있는 기계 교체 문제에서, 제안된 일반화된 애매함 집합을 사용하는 분포로 부터의 강건한 MDP는 명시적, 강건, 이전의 분포로 부터의 강건 전략보다 뛰어난 성능을 보이며, 평균 할인 보상은 -1.9×10⁻³을 기록하여 강건 접근법의 -2.9×10⁻³보다 우수하다.
• 경로 계획 문제에서는 점프 확률에 대해 분리된 신뢰 구간을 사용한 제안된 방법이 λ의 전체 범위에서 다른 모든 전략보다 일관되게 뛰어난 성능을 보이며, 다중 모달 불확실성에 대해 뛰어난 강건성을 입증한다.
• 제안된 방법의 계산 시간은 다른 강건 방법과 유사하며, 기계 교체 문제에선 820초, 경로 계획에선 654초를 소요하여 실용적인 효율성을 보였다.
• 이전의 중첩된 집합 접근법이 효과적으로 처리할 수 없는 바, 분리된 신뢰 집합을 허용함으로써 이 방법은 다중 모달 분포(예: 혼합 가우시안)를 성공적으로 모델링할 수 있었다.
• 약간의 이론적 조건 하에서 역순 추론 알고리즘이 여전히 계산적으로 해석 가능하며, 일반화된 분포로 부터의 강건한 MDP 문제를 다항식 시간 내에 해결할 수 있다.
• 시뮬레이션 결과는 더 풍부한 확률적 정보를 더 유연한 애매함 집합을 통해 통합함으로써, 불확실성 하에서 순차적 의사결정에서 더 효과적이고 덜 보수적인 정책을 도출할 수 있음을 확인한다.