[論文レビュー] Suboptimality bounds for stochastic shortest path problems

Eric A. Hansen|arXiv (Cornell University)|Jul 14, 2011

Reinforcement Learning in Robotics参考文献 14被引用数 7

ひとこと要約

本稿では、ベルマン残差を用いて、正の遷移コストの下で、不適切な方策に対しても効率的に計算可能な部分最適性バウンドを求める手法を提案する。これは、従来の研究を、適切な方策や割引問題に限定された場合にとどまらない範囲へと拡張するものである。特に、正の遷移コストの下では、方策が不適切であってもバウンドが効率的に計算可能であり、一般のケース（コスト制限なし）に対しても初期的な結果を提示する。

ABSTRACT

We consider how to use the Bellman residual of the dynamic programming operator to compute suboptimality bounds for solutions to stochastic shortest path problems. Such bounds have been previously established only in the special case that policies are proper, in which case the dynamic programming operator is known to be a contraction, and have been shown to be easily computable only in the more limited special case of discounting. Under the condition that transition costs are positive, we show that suboptimality bounds can be easily computed even when not all policies are proper. In the general case when there are no restrictions on transition costs, the analysis is more complex. But we present preliminary results that show such bounds are possible.

研究の動機と目的

• 従来の手法の制限を超えて、確率的最短経路問題における部分最適性バウンドを計算するための手法を開発すること。
• 従来、割引問題や適切な方策に限定して有効であった部分最適性バウンドを、不適切な方策に対しても拡張すること。
• 正の遷移コストの条件下で、計算可能な部分最適性バウンドを確立すること。
• 遷移コストに制限がない一般のケースにおいて、このようなバウンドを導出できるかを検討すること。

提案手法

• 動的計画法の作用素のベルマン残差を、部分最適性バウンドを評価するための主要な要素として活用する。
• 正の遷移コストの下での動的計画法作用素の構造に特化した解析手法を適用する。
• 正のコストの下での作用素の収縮性を活用し、タイトで計算可能なバウンドを導出する。
• コスト制限のない一般のケースでは、部分的な解析的手法を用いて部分最適性バウンドの存在可能性を検討する。
• 特に正のコスト領域においては、計算効率が高く、実用的であるようにフレームワークを設計する。

実験結果

リサーチクエスチョン

• RQ1 方策が必ずしも適切でない場合でも、確率的最短経路問題に対して部分最適性バウンドを効率的に計算できるか？
• RQ2 正の遷移コストを有する問題において、ベルマン残差は部分最適性とどのように関係するか？
• RQ3 部分最適性バウンドを、割引問題や適切な方策のケースを超えて拡張するための条件は何か？
• RQ4 任意の遷移コストを有する一般のケースにおいて、部分最適性バウンドを導出することは可能か？

主な発見

• 遷移コストが正であれば、方策が不適切であっても部分最適性バウンドを効率的に計算可能である。
• ベルマン残差は、この設定において部分最適性を推定する信頼性が高く、計算可能な指標を提供する。
• 本手法は、従来、割引問題や適切な方策に限定されていた結果を一般化する。
• 初期的な結果から、コスト制限のない一般ケースに対しても部分最適性バウンドが導出可能である可能性が示唆されるが、その解析はより複雑である。