[논문 리뷰] Mean-Variance Optimization in Markov Decision Processes

Shie Mannor, John N. Tsitsiklis|arXiv (Cornell University)|2011. 04. 29.

Reinforcement Learning in Robotics참고 문헌 19인용 수 44

한 줄 요약

이 논문은 유한한 시간 범위를 가진 마코프 결정 과정(MDPs)에서 평균-분산 최적화를 다루며, 평균-분산 제약 조건 하에서 최적 정책을 계산하는 것이 일반적으로 NP-난해하거나 강한 NP-난해임을 보여준다. 제약 조건이 있는 경우와 다중 목표 설정에 대해 의사결정적 및 근사 알고리즘을 제안하며, 복잡도 결과를 통해 계산의 타당성에 대한 이론적 한계를 설정한다.

ABSTRACT

We consider finite horizon Markov decision processes under performance measures that involve both the mean and the variance of the cumulative reward. We show that either randomized or history-based policies can improve performance. We prove that the complexity of computing a policy that maximizes the mean reward under a variance constraint is NP-hard for some cases, and strongly NP-hard for others. We finally offer pseudopolynomial exact and approximation algorithms.

연구 동기 및 목표

• 유한한 시간 범위 MDPs에서 평균 보상과 그 분산을 함께 고려할 때의 평균-분산 최적화의 계산 복잡도를 분석하는 것.
• 랜덤화 또는 이력 의존성을 허용하는 정책 클래스가 결정적 또는 마코프 정책보다 성능을 향상시킬 수 있는지 조사하는 것.
• 분산 제약 조건 하에서 평균 보상을 최적화하거나 그 반대의 경우에 정책을 계산하는 것이 타당한지 판단하는 것.
• 평균-분산 MDPs에 대한 의사결정적 및 근사 알고리즘을 개발하는 것.
• NP-난해성 및 강한 NP-완전성 결과를 통해 효율적 계산의 이론적 한계를 탐색하는 것.

제안 방법

• 누적 보상의 평균과 분산을 동시에 최적화하기 위해 다기준 및 제약 조건이 있는 MDP 프레임워크를 사용한다.
• 보상의 두 번째 모멘트를 모델링하기 위해 상태 증강 기법을 적용하여 선형 프로그래밍 방법을 사용할 수 있도록 한다.
• 라그랑주 역할을 사용한 파arametric 접근 방식을 통해 한 목표(예: 평균)를 고정하고 다른 목표(예: 분산)를 최적화함으로써 평균-분산 문제를 해결한다.
• 유한한 보상 공간에 기반한 동적 프로그래밍을 활용하여 보상 공간에 대한 의사결정적 알고리즘을 개발하며, 유한한 합리적 보상에 기반한다.
• 기존의 알려진 NP-완전 문제들인 3-Partition 및 Knapsack 문제로의 감소를 통해 NP-난해성을 증명한다. 이는 특정한 MDP 구조 하에서 성립한다.
• 이력 의존성, 랜덤화, 마코프 정책을 포함한 정책 클래스를 분석하여 성능 및 복잡도를 비교한다.

실험 결과

연구 질문

• RQ1 분산 제약 조건 하에서 평균 보상을 최대화하는 정책을 계산하는 것은 NP-난해 또는 강한 NP-난해인가?
• RQ2 평균-분산 MDPs에 대해 의사결정적 또는 근사 알고리즘을 의사결정적 다항 시간 내에 구성할 수 있는가?
• RQ3 랜덤화 또는 이력 기반 정책이 평균-분산 최적화에서 마코프 또는 결정적 정책보다 엄밀히 우월한가?
• RQ4 균일한 오차 범위 내에서 평균-분산 트레이드오프의 최적 값이 계산 가능한 다항 또는 의사다항 시간 알고리즘이 존재하는가?
• RQ5 최소 또는 최대 분산을 효율적으로 계산할 수 있으며, 이러한 극한을 달성하는 정책 유형은 무엇인가?

주요 결과

• MDPs에서의 평균-분산 최적화는 일반적으로 NP-난해하며, 특정한 MDP 매개변수화에서는 강한 NP-난해이다.
• 정수 보상이 존재할 경우, 분산 제약 조건 하에서 평균 보상을 최대화하는 정책을 계산하는 문제는 강한 NP-난해이다.
• 유한한 합리적 보상이 존재할 경우, 제약 조건이 있는 경우와 다중 목표 설정에 대해 의사결정적 및 근사 알고리즘이 존재한다.
• 최소 분산은 항상 결정적 정책에 의해 달성되며, 최대 분산은 일반적으로 랜덤화 정책에 의해 달성된다.
• 정수 보상이 존재할 경우, 분산 최대화 문제는 다각형 위의 이차 프로그래밍 문제로 감소하며, 의사다항 시간 내에 해결 가능하다.
• 결과는 무한한 시간 범위 할인 MDPs로도 확장되며, 꼬리 부분의 영향이 감소하므로 근사 알고리즘을 적응하여 사용할 수 있다.