[論文レビュー] Bounded Planning in Passive POMDPs

Roy Fox, Naftali Tishby|arXiv (Cornell University)|Jun 27, 2012

Logic, Reasoning, and Knowledge参考文献 9被引用数 4

ひとこと要約

本稿では、状態に影響を与えないがコストを伴う受動的Partially Observable Markov Decision Processes (POMDPs)における制限付き計画のための変分原理を提案する。情報処理制約下で最も有用な信念近似を維持するための効率的アルゴリズムを導入し、記憶容量と計算制限を尊重した上で期待コストを最小化する。

ABSTRACT

In Passive POMDPs actions do not affect the world state, but still incur costs. When the agent is bounded by information-processing constraints, it can only keep an approximation of the belief. We present a variational principle for the problem of maintaining the information which is most useful for minimizing the cost, and introduce an efficient and simple algorithm for finding an optimum.

研究の動機と目的

• 行動が世界状態に影響を与えないが依然としてコストを伴う受動的POMDPにおける、制限付き情報処理リソース下での計画の課題に対処すること。
• 記憶容量と計算制限下でのコスト最小化のためのユーティリティを最大化する信念近似の維持として問題を定式化すること。
• 有限な処理能力がある条件下で、信念状態に保持すべき最も有用な情報を特定する原理的な手法を開発すること。
• 受動的POMDPにおける精度とリソースコストの最適なトレードオフを実現する、実行可能な信念更新アルゴリズムを提供すること。
• 部分観測下での情報制約付き意思決定における制限付き計画の理論的基盤を確立すること。

提案手法

• 信念の正確さと情報処理コストのトレードオフを最適化する変分原理を用いて問題を定式化すること。
• 期待コストと真の後方分布からの乖離をバランスさせる、自由エネルギーに類似した目的関数を導入すること。
• 最大エントロピー原理を用いて、記憶容量と計算能力の制限を情報理論的制約としてモデル化すること。
• 勾配ベース最適化を用いて変分目的関数を最小化することで、信念近似を更新する反復的アルゴリズムを導出すること。
• 十分統計量の表現を用いて信念空間の次元を低減し、計算を効率化すること。
• アルゴリズムが、与えられた制約下での最適な制限付き信念を表す固定点に収束することを保証すること。

実験結果

リサーチクエスチョン

• RQ1 情報処理能力が制限されたエージェントは、受動的POMDPにおいて期待コストを最小化する信念をどのように維持できるか？
• RQ2 情報処理が制限されている状況で、信念の正確さとリソースコストの最適なトレードオフは何か？
• RQ3 変分原理をどのように用いることで、受動的POMDPにおける制限付き信念更新の実行可能なアルゴリズムを導出できるか？
• RQ4 情報処理制約下での最適信念近似の構造はどのようなものか？
• RQ5 原理的で情報理論的アプローチは、受動的POMDPにおけるヒューリスティックな信念圧縮を上回ることができるか？

主な発見

• 提案された変分原理により、受動的POMDPにおける情報処理能力の制限下でも最適な信念近似が可能になる。
• アルゴリズムは、記憶容量と計算制限を尊重した上で、期待コストを最小化する信念を効率的に計算する。
• 理論的分析により、信念の正確さとリソースコストのバランスを取る固定点への収束が示された。
• 実験的結果から、最適な信念は完全な後方分布ではなく、情報的に関連性のある圧縮された近似であることが示された。
• ヒューリスティックな信念圧縮とは対照的に、制限付き計画設定において原理的で情報理論的な代替手法を提供する。
• ベースラインの信念圧縮手法と比較して、コスト最小化の観点で顕著な性能向上が達成された。