[論文レビュー] Accelerated Online Risk-Averse Policy Evaluation in POMDPs with Theoretical Guarantees and Novel CVaR Bounds

Yaacov Pariente, Vadim Indelman|arXiv (Cornell University)|Feb 26, 2026

Reinforcement Learning in Robotics被引用数 0

ひとこと要約

要約: 論文は簡略化された信念MDPの下でリスク回避値関数を制約するCVaR境界を導出し、粒子ベースのフレームワークで保証付きのオンライン推定器を開発し、これらの境界を用いてアクション排除を通じた安全な計画加速を実現する。

ABSTRACT

Risk-averse decision-making under uncertainty in partially observable domains is a central challenge in artificial intelligence and is essential for developing reliable autonomous agents. The formal framework for such problems is the partially observable Markov decision process (POMDP), where risk sensitivity is introduced through a risk measure applied to the value function, with Conditional Value-at-Risk (CVaR) being a particularly significant criterion. However, solving POMDPs is computationally intractable in general, and approximate methods rely on computationally expensive simulations of future agent trajectories. This work introduces a theoretical framework for accelerating CVaR value function evaluation in POMDPs with formal performance guarantees. We derive new bounds on the CVaR of a random variable X using an auxiliary random variable Y, under assumptions relating their cumulative distribution and density functions; these bounds yield interpretable concentration inequalities and converge as the distributional discrepancy vanishes. Building on this, we establish upper and lower bounds on the CVaR value function computable from a simplified belief-MDP, accommodating general simplifications of the transition dynamics. We develop estimators for these bounds within a particle-belief MDP framework with probabilistic guarantees, and employ them for acceleration via action elimination: actions whose bounds indicate suboptimality under the simplified model are safely discarded while ensuring consistency with the original POMDP. Empirical evaluation across multiple POMDP domains confirms that the bounds reliably separate safe from dangerous policies while achieving substantial computational speedups under the simplified model.

研究の動機と目的

• 分布のずれを考慮して、補助変数Yを用いてランダム変数XのCVaR境界を導出する。
• 元のCVaR値関数を、証明可能な境界を持つ簡略化された信念MDMDP値関数に関連付ける。
• 粒子信念MDP内でこれらの境界を計算するオンライン推定器を開発し、確率的保証を提供する。
• 境界を用いてオンライン計画中の安全なアクション排除を通じて計画を加速し、性能を維持する。

提案手法

• XとYを関連付ける一様および一様でないCVaR境界を導出する（定理5.1–5.4）。
• 元の信念モデルと簡略化された信念モデル間のepsilon-ずらし境界を特性づける。
• CVaRを目的とするリスク回避POMDPを定式化する（V_M(b_k, α) と Q_M(b_k,a_k,α)）。
• PB-MDP内で境界のオンライン推定器を開発し、確率的な性能保証を証明する（定理7.4）。
• オンライン計画中に境界を用いて劣後アクションを剪定し、速度アップを実証する。
• CVaR推定器の集中化境界を提供する（定理3.1および関連結果）。

(a)

実験結果

リサーチクエスチョン

• RQ1 POMDPの回収のCVaRを、扱いやすい簡略化モデルを用いてどのように境界づけできるか？
• RQ2 元のダイナミクスと簡略化ダイナミクス間の分布のずれが、情報量のあるCVaR境界をどのように保証するか？
• RQ3 粒子信念フレームワークでオンライン推定器はこれらのCVaR境界に対する確率的保証を提供できるか？
• RQ4 CVaR境界に基づくアクション排除戦略は、性能低下を最小限に抑えつつ計算の速度向上をもたらすか？

主な発見

• 一様CVaR境界を確立: XとYは不偏差εを介して境界づけられ、αに条件を付す（定理5.1）。
• ε→0のとき境界が収束することを示す（定理5.2）。
• 関数g(x)を用いたより厳密な下界構成と、密度ずれに基づく境界（定理5.3および定理5.4）を導入。
• CVaR推定値の集中化境界を導出し、サンプルベースの保証を可能にする（定理5.5および関連結果）。
• アクション排除による複数のPOMDP領域で実質的な計算速度アップを実証、政策劣化はごく僅かに留まる。

(b)