[論文レビュー] Structural Results for Partially Observed Markov Decision Processes

Vikram Krishnamurthy|arXiv (Cornell University)|Dec 12, 2015

Reinforcement Learning in Robotics参考文献 10被引用数 7

ひとこと要約

本稿は、ラティスプログラミングと確率的優位性を用いて、部分的に観測可能なマルコフ決定過程（POMDP）の構造的結果を提示する。全探索を伴わずに最適方策を特徴付ける。最適方策が単調、しきい値ベース、または下付き関数的である条件を確立し、低ランクの遷移行列近似のための凸最適化とミロピック方策の境界を用いて、計算の効率化と感度解析を可能にする。

ABSTRACT

This article provides an introductory tutorial on structural results in partially observed Markov decision processes (POMDPs). Typically, computing the optimal policy of a POMDP is computationally intractable. We use lattice program- ming methods to characterize the structure of the optimal policy of a POMDP without brute force computations.

研究の動機と目的

• ブルートフォース計算に依存せずにPOMDPにおける最適方策の構造的特徴を明らかにすること。
• 確率的優位性とラティス理論を用いて、最適方策が単調、しきい値ベース、または下付き関数的である条件を同定すること。
• 低ランクの遷移行列のためのミロピック方策の境界と凸最適化を用いて、効率的な方策計算を可能にすること。
• 支配関係を用いて、状態および観測ダイナミクスの変化に対する最適コストの感度を分析すること。
• 制御されたセンシング、逐次検出、社会的学習におけるスケーラブルなアルゴリズムの設計の理論的基盤を提供すること。

提案手法

• ラティスプログラミングと確率的優位性（例：MLR、コポジティブ優位性）を用いて、最適方策の構造的性質を導出する。
• トプキスの単調性定理と下付き関数性を用いて、POMDPおよび停止時刻問題における最適方策を特徴付ける。
• 信念状態の定式化と信念圧縮を伴う動的計画法を用いて次元削減を実現する。
• 有限horizon POMDPのための価値反復およびポイントベース法を開発し、ローブイの近似アルゴリズムと段階的プリーニングを含む。
• 核ノルム最小化と再重み付け核ノルムを用いて、低ランク近似のための遷移行列を構築し、低複雑度のフィルタリングを実現する。
• コポジティブ優位性を用いてミロピック方策の境界を導出し、それらを最適化して最適方策を近似する。

実験結果

リサーチクエスチョン

• RQ1 POMDPにおける最適方策が信念状態または観測履歴に関して単調である条件は何か？
• RQ2 下付き関数性やMLR優位性といった構造的性質をどのように活用してPOMDP方策計算を簡略化できるか？
• RQ3 POMDPにおける最適コストと遷移行列および観測行列との関係は何か？
• RQ4 確率的優位性の条件下で、ミロピック方策が最適方策のタイトな境界を提供できるか？
• RQ5 低ランク近似のための遷移行列をどのように構築すれば、フィルタリングの複雑度を低減しつつ性能境界を維持できるか？

主な発見

• MLR確率的順序において、POMDPの最適価値関数は信念状態に関して単調増加であり、しきい値ベースの方策構造を可能にする。
• 停止時刻POMDPでは、尤度比が確率的に単調である場合、最適方策は線形しきい値で特徴付けられ、停止領域の凸性を保証する。
• コポジティブ優位性を用いて構築されたミロピック方策の境界は、最適方策をタイトに近似でき、数値例では近似的に最適性を示す。
• 核ノルム最小化と再重み付け核ノルムを用いて構築された低ランク遷移行列は、最適フィルタのタイトな上界および下界を提供し、計算複雑度を低減する。
• MLR順序において、POMDPの最適コストは遷移行列に関して単調に変化するため、感度解析が可能になる。
• マシン交換POMDPでは、最適方策は単調であり、信念圧縮とラティスに基づく手法を用いて効率的に計算可能である。