[論文レビュー] Policy Improvement for POMDPs Using Normalized Importance Sampling

Christian R. Shelton|arXiv (Cornell University)|Jan 10, 2013

Machine Learning and Algorithms参考文献 12被引用数 41

ひとこと要約

この論文は、部分的に観測可能なマルコフ意思決定過程（POMDP）における方策改善のための正規化重要度サンプリング推定器を導入し、環境に関する事前知識が不要なオフポリシー評価を可能にしている。この手法により、低分散でバイアスのある推定が可能となり、グリーディな探索アルゴリズムにおけるペアワイズ比較に効果的で、REINFORCE法と比較して試行回数を1桁削減できる。

ABSTRACT

We present a new method for estimating the expected return of a POMDP from experience. The method does not assume any knowledge of the POMDP and allows the experience to be gathered from an arbitrary sequence of policies. The return is estimated for any new policy of the POMDP. We motivate the estimator from function-approximation and importance sampling points-of-view and derive its theoretical properties. Although the estimator is biased, it has low variance and the bias is often irrelevant when the estimator is used for pair-wise comparisons. We conclude by extending the estimator to policies with memory and compare its performance in a greedy search algorithm to REINFORCE algorithms showing an order of magnitude reduction in the number of trials required.

研究の動機と目的

• 任意のポリシーに従って収集された経験を用いて、POMDP方策の期待報酬を推定する手法を開発すること。
• モデルの知識やオンポリシーのロールアウトを必要とせずに、POMDPにおける方策改善を可能にすること。
• バイアスを伴いながらも実用性を保ちつつ、オフポリシー方策評価の分散を低減すること。
• 順序付き意思決定タスクへの適用性を高めるために、記憶を持つ方策を扱えるように推定器を拡張すること。
• REINFORCEに基づく手法と比較して、グリーディな方策探索における優れたサンプル効率を示すこと。

提案手法

• この手法は、行動方策に従って収集された経験から、ターゲット方策の期待報酬を正規化重要度サンプリングを用いて推定する。
• 理論的根拠を確保するため、関数近似と重要度サンプリングの両視点から推定器を導出する。
• 推定器はバイアスを伴うが、分散が低いため、方策反復におけるペアワイズ方策比較に適している。
• 履歴依存の行動選択を組み込むことで、記憶を持つ方策を扱えるようにこのアプローチを拡張する。
• 推定器はグリーディな方策探索アルゴリズムに統合され、従来のREINFORCEスタイルの更新に置き換わる。
• 行動方策とターゲット方策が異なる場合のオフポリシー学習をサポートし、既存の経験の再利用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 モデルの知識が不要な状態で、POMDP方策評価のための低分散オフポリシー推定器を構築できるか？
• RQ2 正規化重要度サンプリング推定器は、POMDPにおける方策改善の実用的性能においてどのように機能するか？
• RQ3 REINFORCE法と比較して、グリーディな方策探索における推定器のサンプル複雑度はどの程度低減されるか？
• RQ4 POMDPにおける記憶に基づく方策を扱えるように、推定器を拡張できるか？
• RQ5 ペアワイズ方策比較に使用する場合、推定器のバイアスは実用的に重要であるか？

主な発見

• 正規化重要度サンプリング推定器は、POMDPにおけるオフポリシー評価において、標準的重要な度サンプリングと比較して顕著に分散が低い。
• バイアスがあるものの、実用的にはしばしば無視できるほど小さく、特に方策の比較に用いる際には顕著ではない。
• モデルの知識がなくても、任意のポリシーに従って収集された経験を用いて、効果的な方策改善が可能である。
• グリーディな方策探索において、提案手法はREINFORCE法と比較して必要な試行回数を1桁削減した。
• 推定器は記憶を持つ方策へと効果的に拡張され、順序付き意思決定タスクにおいても安定性と性能を維持した。
• 実験結果から、推定器はREINFORCE法を上回るサンプル効率を示し、信頼性の高い方策改善を実現した。