[論文レビュー] Metareasoning for Planning Under Uncertainty

Christopher H. Lin, Andrey Kolobov+2 more|arXiv (Cornell University)|May 3, 2015

Reinforcement Learning in Robotics参考文献 25被引用数 6

ひとこと要約

この論文は、不確実な環境における計画コストと方策改善のバランスを取るために、マルコフ決定過程（MDP）におけるメタ推論を形式化する。BRTDPの境界を用いて計算の価値を推定する近似メタ推論アルゴリズムを提案し、特に改善の余地が大きいドメインにおいて、メタ推論ギャップを顕著に縮小するが、トレーニングデータや事前のドメイン知識を必要としない。

ABSTRACT

The conventional model for online planning under uncertainty assumes that an agent can stop and plan without incurring costs for the time spent planning. However, planning time is not free in most real-world settings. For example, an autonomous drone is subject to nature's forces, like gravity, even while it thinks, and must either pay a price for counteracting these forces to stay in place, or grapple with the state change caused by acquiescing to them. Policy optimization in these settings requires metareasoning---a process that trades off the cost of planning and the potential policy improvement that can be achieved. We formalize and analyze the metareasoning problem for Markov Decision Processes (MDPs). Our work subsumes previously studied special cases of metareasoning and shows that in the general case, metareasoning is at most polynomially harder than solving MDPs with any given algorithm that disregards the cost of thinking. For reasons we discuss, optimal general metareasoning turns out to be impractical, motivating approximations. We present approximate metareasoning procedures which rely on special properties of the BRTDP planning algorithm and explore the effectiveness of our methods on a variety of problems.

研究の動機と目的

• 時間的制約やリソース制約のあるシステム（ドローンや宇宙探査機など）において、オンライン計画の際の計画時間のコストが無視できないという実用的制限に対処する。
• 計算コストと期待される方策改善のトレードオフを取る一般化されたMDP用メタ推論問題を形式化し、先行モデルを包含する。
• 最適メタ推論はベースMDPを解くのと比較して多項式時間しか重くならず、無限の再帰的推論と計算オーバーヘッドのため、依然として実用的ではないことを示す。
• トレーニングデータや事前のドメイン知識を必要とせず、プランナが生成する境界（例：BRTDP）に基づいて計算の価値（VoC）を推定する高速な近似メタ推論アルゴリズムを開発する。
• 合成ドメインにおいてメタ推論ギャップが異なる状況を評価し、特に高インパクトなシナリオでの性能に注目する。

提案手法

• エージェントが行動する前にどのくらい計画するかを決定する意思決定問題としてメタ推論を形式化し、計算コストと期待される方策向上のトレードオフを取る。
• 有界RTDP（BRTDP）を用いて価値関数の上界と下界を生成し、これを利用して追加の計画時間の価値を推定する。
• これらの境界を用いて、事前のトレーニングやドメイン特化のチューニングを必要とせず、リアルタイムで計算の価値（VoC）の期待値を計算する近似メタ推論手順を設計する。
• 非マクロな近似として、複数の計画ステップにわたる境界の変化を予測するが、実際には誤差が蓄積されることが示された。
• より良い計画意思決定による改善の可能性を測るためのメタ推論ギャップ指標を定義し、ドメイン間でのパフォーマンスベンチマークとして用いる。
• オンライン計画ループにおいてメタ推論方針を適用し、推定されたVoCに基づいて即座に行動するか、さらに計画を継続するかをエージェントが意思決定する。

実験結果

リサーチクエスチョン

• RQ1 MDPにおけるメタ推論をどのように形式化すれば、計画コストと方策品質の向上の期待値のバランスを取れるか？
• RQ2 最適メタ推論の計算複雑性は、ベースMDPを解くのと比べてどの程度か？多項式時間しか重くないにもかかわらず、なぜ依然として実用的ではないのか？
• RQ3 トレーニングデータや事前のドメイン知識を必要とせず、プランナが生成する境界（例：BRTDP）に基づいて、近似メタ推論アルゴリズムを設計できるか？
• RQ4 どのような環境で近似メタ推論アルゴリズムが最大の利点を発揮するか？また、メタ推論ギャップとパフォーマンスの相関関係は何か？
• RQ5 1ステップメタ推論の仮定がパフォーマンスに与える影響は何か？複数の計画サイクルに拡張した場合のリスクは何か？

主な発見

• MDPにおける最適一般メタ推論は、ベースMDPを解くのと比較して多項式時間しか重くならず、計算オーバーヘッドとメタレベル推論の無限再帰のため、依然として実用的ではない。
• 提案された近似メタ推論アルゴリズムは、改善の余地が大きいドメイン（例：DynamicNOP-2）において、メタ推論ギャップを顕著に縮小し、ベースラインを上回る性能を示した。
• 風がエージェントをゴールから遠ざけるDynamicNOP-1では、メタ推論ギャップが小さく、過剰な思考が逆効果となるため、アルゴリズムの性能が劣化した。
• 高ギャップドメインでは、メタ推論者がベースラインよりも平均的な方策コストを改善したが、VoC計算の確率的性質による過剰思考の影響で、まれに高いコストを負担した。
• 初期状態のメタ推論ギャップが全体のパフォーマンスを示すものではないことが判明した。他の状態にはより高い改善可能性があるため、状態中心のギャップ指標には限界がある。
• 複数ステップ先の予測を行う非マクロ拡張は誤差の蓄積を引き起こし、パフォーマンスを低下させることが示された。これにより、1ステップメタ推論は最適でないものの、より安定していることが示唆された。