[논문 리뷰] Accelerated Online Risk-Averse Policy Evaluation in POMDPs with Theoretical Guarantees and Novel CVaR Bounds

Yaacov Pariente, Vadim Indelman|arXiv (Cornell University)|2026. 02. 26.

Reinforcement Learning in Robotics인용 수 0

한 줄 요약

본 논문은 단순화된 신념-MDP 하에서 위험 회피 가치 함수를 제한하기 위한 CVaR 한계를 도출하고, 입자 기반 프레임워크에서 보장된 온라인 추정기를 개발하며, 이 한계를 이용해 안전한 행동 제거를 통해 계획을 가속화한다.

ABSTRACT

Risk-averse decision-making under uncertainty in partially observable domains is a central challenge in artificial intelligence and is essential for developing reliable autonomous agents. The formal framework for such problems is the partially observable Markov decision process (POMDP), where risk sensitivity is introduced through a risk measure applied to the value function, with Conditional Value-at-Risk (CVaR) being a particularly significant criterion. However, solving POMDPs is computationally intractable in general, and approximate methods rely on computationally expensive simulations of future agent trajectories. This work introduces a theoretical framework for accelerating CVaR value function evaluation in POMDPs with formal performance guarantees. We derive new bounds on the CVaR of a random variable X using an auxiliary random variable Y, under assumptions relating their cumulative distribution and density functions; these bounds yield interpretable concentration inequalities and converge as the distributional discrepancy vanishes. Building on this, we establish upper and lower bounds on the CVaR value function computable from a simplified belief-MDP, accommodating general simplifications of the transition dynamics. We develop estimators for these bounds within a particle-belief MDP framework with probabilistic guarantees, and employ them for acceleration via action elimination: actions whose bounds indicate suboptimality under the simplified model are safely discarded while ensuring consistency with the original POMDP. Empirical evaluation across multiple POMDP domains confirms that the bounds reliably separate safe from dangerous policies while achieving substantial computational speedups under the simplified model.

연구 동기 및 목표

• 분포 차이에 따른 보조 변수 Y를 사용하여 랜덤 변수 X의 CVaR 한계를 도출한다.
• 원래의 CVaR 가치 함수와 증명 가능한 한계가 있는 단순화된 belief-MMDP 가치 함수를 연결한다.
• 입자 기반 belief MDP 내에서 이러한 경계를 계산하기 위한 온라인 추정기를 개발하고 확률적 보장을 제공한다.
• 성능을 보존하면서 안전한 행동 제거를 통해 계획을 가속화하기 위해 경계를 적용한다.

제안 방법

• X와 Y를 연관시키는 균일한 및 비균일한 CVaR 경계를 도출한다 (정리 5.1–5.4).
• 원래의 belief 모델과 단순화된 belief 모델 간의 anepsilon-discrepancy 경계를 특징짓다.
• CVaR를 목적 함수로 하는 위험회피 POMDP를 형식화한다 (V_M(b_k, α) 및 Q_M(b_k,a_k,α)).
• 입자-belief MDP(PB-MDP) 내의 경계에 대한 온라인 추정기를 개발하고 확률적 성능 보장을 증명한다 (정리 7.4).
• 온라인 계획 중 비최적 행동을 가지치기하고 속도 향상을 입증하기 위해 경계를 사용한다.
• CVaR 추정치에 대한 concentration 경계를 제공한다 (정리 3.1 및 관련 결과).

(a)

실험 결과

연구 질문

• RQ1 POMDP에서 보상(return)의 CVaR을 tractable한 단순화된 모델을 사용해 어떻게 구속할 수 있는가?
• RQ2 원래의 동적 모델과 단순화된 동적 모델 간의 분포 차이에 대한 어떤 조건이 정보성 있는 CVaR 경계를 보장하는가?
• RQ3 입자- belief 프레임워크의 온라인 추정기가 이러한 CVaR 경계에 대한 확률적 보장을 제공할 수 있는가?
• RQ4 CVaR 경계에 기반한 행동 제거 전략이 성능 손실 없이 계산 속도 향상을 가져오는가?

주요 결과

• 일관된 CVaR 경계 수립: X와 Y가 ε의 차이에 의해 경계되며 α에 대한 조건(정리 5.1)을 만족한다.
• ε → 0일 때 경계의 수렴을 보였다(정리 5.2).
• 함수 g(x)를 이용한 더 강한 하한 구성(정리 5.3)과 밀도 차이에 바탕한 경계(정리 5.4)를 도입했다.
• CVaR 추정에 대한 concentration 경계를 도출하여 샘플 기반의 보장을 가능하게 한다(정리 5.5 및 관련 결과).
• 다수의 POMDP 도메인에서 행동 제거를 통한 상당한 계산 속도 향상을 입증했고 정책 저하는 미미했다.

(b)