[논문 리뷰] Vulcan: A Monte Carlo Algorithm for Large Chance Constrained MDPs with Risk Bounding Functions

B. Ayton, Brian C. Williams|arXiv (Cornell University)|2018. 09. 04.

Bayesian Modeling and Causal Inference인용 수 10

한 줄 요약

Vulcan은 위험 경계 함수를 활용한 몬테카를로 트리 탐색 알고리즘을 도입하여, 전역적 확률 제약 조건을 각 상태-역사 별 제약 조건으로 분리함으로써 대규모 확률 제약이 있는 MDP에서 효율적이고 anytime 정책 탐색을 가능하게 한다. 이는 10^13개 상태를 가진 CCMDP 문제를 3분 내에 near-optimal 보상과 보장된 위험 범위로 해결하며, 선형 프로그래밍 및 휴리스틱 방법보다 50~600배 빠르게 성능을 냈다.

ABSTRACT

Chance Constrained Markov Decision Processes maximize reward subject to a bounded probability of failure, and have been frequently applied for planning with potentially dangerous outcomes or unknown environments. Solution algorithms have required strong heuristics or have been limited to relatively small problems with up to millions of states, because the optimal action to take from a given state depends on the probability of failure in the rest of the policy, leading to a coupled problem that is difficult to solve. In this paper we examine a generalization of a CCMDP that trades off probability of failure against reward through a functional relationship. We derive a constraint that can be applied to each state history in a policy individually, and which guarantees that the chance constraint will be satisfied. The approach decouples states in the CCMDP, so that large problems can be solved efficiently. We then introduce Vulcan, which uses our constraint in order to apply Monte Carlo Tree Search to CCMDPs. Vulcan can be applied to problems where it is unfeasible to generate the entire state space, and policies must be returned in an anytime manner. We show that Vulcan and its variants run tens to hundreds of times faster than linear programming methods, and over ten times faster than heuristic based methods, all without the need for a heuristic, and returning solutions with a mean suboptimality on the order of a few percent. Finally, we use Vulcan to solve for a chance constrained policy in a CCMDP with over $10^{13}$ states in 3 minutes.

연구 동기 및 목표

• 기존 CCMDP 해법의 확장성 한계를 해결하기 위해, 전역적으로 결합된 확률 제약 조건으로 인해 큰 상태 공간에서 어려움을 겪는 문제를 다루는 것.
• 전체 상태 공간의 열거가 불가능한 큰 복잡한 MDP에서 anytime 정책 합성을 가능하게 하는 것.
• 고정된 위험 경계를 초월하여 실제 위험-보상 트레이드오프를 반영할 수 있는 볼록이면서 비감소하는 위험 경계 함수로 일반화하는 것.
• 계산 효율성과 near-optimality를 유지하면서도 확률 제약 조건을 보장하는 방법을 개발하는 것.

제안 방법

• 각 상태-역사에 대해 적용될 수 있는 충분조건을 유도하여, 전역적 확률 제약 조건이 보장되도록 정책 최적화 문제를 효과적으로 분리한다.
• 예상 정책 보상에서 허용 가능한 최대 실패 확률로 매핑하는 위험 경계 함수를 도입하여 동적 위험 수용 가능성을 가능하게 한다.
• 상태-역사에 특화된 위험 제약 조건을 적용한 몬테카를로 트리 탐색(MCTS)을 사용하여 전체 상태 공간 탐색 없이도 점진적인 정책 구축을 가능하게 한다.
• 상태 역사와 불확실성 전파를 고려한 보상 평가 메커니즘을 사용하며, 특히 탐색 영역에서 가우시안 프로세스 추론을 통해 이를 구현한다.
• 완전한 탐색이 끝나지 않은 상태에서도 하위최적이지만 위험을 보장하는 정책으로 수렴하는 anytime 탐색 전략을 적용한다.
• 위험 경계 함수에 기반한 프루닝 메커니즘을 구현하여, 초기 탐색 단계에서 높은 위험과 낮은 보상의 분지 탐색을 피한다.

실험 결과

연구 질문

• RQ1 전역적 위험 제약 조건이 있는 대규모 확률 제약 MDP를 해결하기 위해 몬테카를로 트리 탐색 알고리즘을 어떻게 적응시킬 수 있는가?
• RQ2 전역적 확률 제약 조건이 보장되도록 각 상태-역사 별 위험 제약 조건을 유도할 수 있는가?
• RQ3 고정된 위험 경계보다 비선형적이고 볼록이며 비감소적인 위험 경계 함수는 위험-보상 트레이드오프의 표현력과 현실성에서 어떻게 향상되는가?
• RQ4 Vulcan의 성능은 선형 프로그래밍 및 휴리스틱 기반 방법에 비해 속도와 해의 품질 측면에서 어떻게 비교되는가?
• RQ5 10^13개 이상의 상태를 가진 문제에 대해 Vulcan은 위험 보장을 유지하면서도 확장성과 near-optimality를 유지할 수 있는가?

주요 결과

• Vulcan은 약 3.5 × 10^13개의 고유한 상태-역사가 있는 CCMDP 문제를 단 180초 내에 해결하여, 이전 방법을 뛰어넘는 확장성을 입증했다.
• 최적 해를 계산할 수 있는 작은 문제에서 Vulcan은 진짜 최적 정책 대비 몇 퍼센트 내외의 평균 하위최적성을 달성했다.
• 유사 문제에서 선형 프로그래밍 기반 CCMDP 해법보다 Vulcan은 50배에서 600배 빠르게 작동했다.
• 충분히 큰 문제에서 휴리스틱 전방 탐색 방법보다 11.3배 더 빠르게 작동했으며, 휴리스틱 튜닝이 전혀 필요 없었다.
• Vulcan이 반환한 정책은 위험과 보상을 성공적으로 균형 잡았으며, 높은 기대 보상에 의해 정당화되지 않는 한 고위험 지역을 통과하지 않는 궤적을 통해 이를 입증했다.
• 비선형적이고 볼록적인 위험 경계 함수의 사용은 보상 증가에 따라 위험 수용 능력이 증가하는 현실적인 위험 수용 가능성을 가능하게 하여, 과도하게 경계하거나 과도하게 공격적인 행동을 방지했다.