[논문 리뷰] Optimizing Quantiles in Preference-based Markov Decision Processes

Hugo Gilbert, Paul Weng외 1명|arXiv (Cornell University)|2016. 12. 01.

Advanced Database Systems and Queries인용 수 7

한 줄 요약

이 논문은 선호 기반 마르코프 결정 과정(MDPs)에서 양자수 기준으로 최적인 정책을 계산하기 위한 새로운 알고리즘을 제안한다. 이 알고리즘은 목표 이용도 함수를 사용하여 기대 이용도 문제의 순서를 해결하기 위해 이진 탐색과 기능적 뒤로 정류(backward induction)를 활용한다. 주요 기여는 높은 확률로 성능 기준을 충족시키는 방법을 제공하며, 임의의 MDP와 데이터 센터 제어 문제에서의 실험적 검증을 통해 기대 기반 정책보다 더 높은 강건성을 확보함을 보여준다.

ABSTRACT

In the Markov decision process model, policies are usually evaluated by expected cumulative rewards. As this decision criterion is not always suitable, we propose in this paper an algorithm for computing a policy optimal for the quantile criterion. Both finite and infinite horizons are considered. Finally we experimentally evaluate our approach on random MDPs and on a data center control problem.

연구 동기 및 목표

• MDP에서 기대 누적 보상 기준의 한계를 해결하기 위해, 특히 위험 회피 또는 한 번성 결정 상황에서의 적용을 목적으로 한다.
• 지정된 누적 보상 분포의 특정 양자수를 최적화하는 정책을 계산하는 방법을 개발하여, 주어진 비율의 경로에서 높은 신뢰성을 확보한다.
• 유한 및 무한 수명 MDP에서 양자수 기준으로 최적 정책의 이론적 성질을 확립한다.
• 제안된 알고리즘을 합성 MDP와 실제 세계의 데이터 센터 제어 문제에서 실험적으로 평가하여 기대 기반 정책과의 성능를 비교한다.
• 클라우드 서비스나 금융 분야 등 순서적 선호 또는 꼬리 리스크에 대한 강건성이 중요한 분야로 MDP의 적용 가능성을 확장한다.

제안 방법

• 양자수 최적화 문제는 양자수 기준을 반영하는 목표 이용도 함수를 사용하여 기대 이용도 문제의 순서로 재구성된다.
• 각 반복에서 기능적 뒤로 정류를 사용하여 기대 이용도 MDP를 해결하는 이진 탐색 절차가 양자수 값에 대해 시행된다.
• 기능적 뒤로 정류는 양자수 목표를 코딩하는 이용도 변환에 적응하여 값 함수를 재귀적으로 계산한다.
• 반복적으로 임계값을 정밀화하여 수렴할 때까지, 알고리즘은 τ-양자수 기준에 대해 ϵ-최적 정책을 반환한다.
• 이 방법은 유한 및 무한 수명 MDP 모두를 지원하며, 정책 존재성과 최적성에 대한 이론적 보장을 제공한다.
• 이 접근법은 임의의 MDP와 데이터 센터 제어 문제에 구현 및 평가되었으며, 누적 보상 분포를 사용하여 정책 성능을 비교한다.

실험 결과

연구 질문

• RQ1 보상 분포가 비대칭일 경우에도 MDP에서 τ-번째 양자수의 누적 보상을 최대화하는 정책을 계산할 수 있는가?
• RQ2 양자수 기준은 MDP에서 표준 기대 이용도 문제의 순서로 어떻게 환원될 수 있는가?
• RQ3 유한 및 무한 수명 설정에서 양자수 기준으로 최적 정책이 나타내는 이론적 성질은 무엇인가?
• RQ4 양자수 최적화 정책의 성능는 기대 기반 정책과 비교해 신뢰성과 강건성 측면에서 어떻게 다를까?
• RQ5 제안된 알고리즘은 누적 보상의 고양자수(예: 99.9%)가 중요한 실제 문제, 예를 들어 데이터 센터 제어에 효과적으로 스케일링될 수 있는가?

주요 결과

• 제안된 알고리즘은 양자수 기준에 대해 ϵ-최적 정책을 이진 탐색을 통해 기대 이용도 문제의 순서로 성공적으로 계산한다.
• 데이터 센터 제어 문제에서, 양자수 최적화 정책은 기대 기반 정책보다 신뢰성 측면에서 뚜렷이 뛰어나며, 99%의 사용자에게 높은 성능을 보장한다.
• 양자수 최적화 정책 하에서의 누적 보상 분포는 높은 보상 쪽으로 기울어져 있으며, 열악한 결과의 위험을 감소시킨다.
• 이론적 분석은 유한 및 무한 수명 MDP에서 결정론적 마르코프 정책이 양자수 기준으로 최적임을 확인한다.
• 기능적 뒤로 정류는 변환된 이용도 하에서 값 함수를 효율적으로 계산하여 알고리즘을 중간 크기 문제에 대해 스케일러블하게 만든다.
• 실험 결과는 실제 응용에서 흔한 비대칭 보상 분포 하에서, 양자수 최적화 정책이 기대 기반 정책보다 더 강건함을 보여준다.