[論文レビュー] Value Iteration with Options and State Aggregation

Kamil Ciosek, David Silver|arXiv (Cornell University)|Jan 16, 2015

Reinforcement Learning in Robotics参考文献 21被引用数 6

ひとこと要約

本稿では、状態集合の集約とオプション（時間的抽象化）を組み合わせた階層的価値反復アルゴリズムを提案する。中規模のマルコフ決定過程（MDP）をより効率的に解くために、まず集約状態を用いて部分ゴールを近似的に解き、その近似解を基に元のMDPにおける正確な価値反復をガイドする。この手法により収束が速くなり、実行時間が大幅に削減される。両種の抽象化の利点を最大限に発揮するのは、両者を併用した場合に限ることが示された。

ABSTRACT

This paper presents a way of solving Markov Decision Processes that combines state abstraction and temporal abstraction. Specifically, we combine state aggregation with the options framework and demonstrate that they work well together and indeed it is only after one combines the two that the full benefit of each is realized. We introduce a hierarchical value iteration algorithm where we first coarsely solve subgoals and then use these approximate solutions to exactly solve the MDP. This algorithm solved several problems faster than vanilla value iteration.

研究の動機と目的

• 状態空間の大きさに伴いスケーリングが著しく劣化する通常の価値反復の計算的非実行可能性に対処するため、状態抽象化と時間的抽象化を統合する。
• 全状態を反復する必要があるため、状態空間の大きさに伴い性能が著しく低下する通常の価値反復の限界を克服する。
• オプション（マクロアクション）と状態集約を統合する原理的フレームワークを構築し、中規模MDPの効率的かつスケーラブルな解法を可能にする。
• オプションと状態集約の相乗効果が、単独で用いる場合よりも優れた性能を発揮することを示す。
• 近似的な部分ゴール解を基にした正確な全MDP解法を実行しながら、最適価値関数への収束を保証する。

提案手法

• オプションと基本的アクションの行列モデルを導入し、ベルマン最適性方程式を拡張することで、行列乗算による合成が可能になる。
• 集約行列Φと解集合行列Dを用いて状態集約を行い、元のMDPをより小さな近似MDPに射影し、部分ゴールの解法に用いる。
• 各オプション（方策μと終了条件βを有する）は、遷移行列Pと報酬ベクトルRを伴い、高レベルの行動を表す。
• 集約MDP上で価値反復を適用し、部分ゴールを近似的に解き、そのモデルを用いて全MDPを正確に解く。
• 部分ゴールの使用範囲を、部分ゴールに近い状態に制限するための開始集合を導入し、効率性と収束速度を向上させる。
• 開始集合でのみ動作する修正された価値反復アルゴリズムを導入し、計算量を削減しながら最適価値関数への収束を維持する。

実験結果

リサーチクエスチョン

• RQ1 オプションと状態集約を価値反復フレームワークに統合することで、中規模MDPにおける収束速度の向上が達成可能か？
• RQ2 時間的抽象化（オプション）と状態抽象化（集約）を統合することで、それぞれ単独で用いる場合を上回る相乗効果が得られるか？
• RQ3 近似的な部分ゴール解を用いるにもかかわらず、オプションと集約を用いた価値反復アルゴリズムが最適価値関数に収束するか？
• RQ4 開始集合の使用が、オプションと集約を併用する階層的価値反復の効率性と収束に与える影響は何か？
• RQ5 通常の価値反復と比較して、オプションと集約を併用した場合の反復回数および実行時間の定量的改善は何か？

主な発見

• 8パズルでは、通常の価値反復（100.19秒、33反復）と比較し、本手法は1.17倍の高速化（85.94秒、25反復）を達成した。
• 8ディスクのハノイの塔では、通常の価値反復（51.65秒）を23.45秒に短縮し、確率的バージョンでは21.71秒まで短縮した。
• ハノイの塔では反復回数が部分ゴール数に比例して線形に増加（4×3×r）する一方、通常の価値反復は指数関数的に増加（2^r）するが、状態空間の大きさの影響により総実行時間は依然として指数的増加を示す。
• 開始集合を用いない部分ゴール単体の使用では高速化が得られず、開始集合を導入した場合にのみ通常の価値反復を上回る性能を示した。これは、文脈に応じた部分ゴールの適用の重要性を示している。
• 本手法は、オプションと状態集約を併用しながら最適価値関数への収束を保証する最初の手法であり、線形関数近似に基づく先行手法とは異なり、発散の可能性がある。
• 実験結果から、オプションと状態集約の利点は、両者を併用した場合にのみ完全に発揮され、単独で用いた場合では同様の性能向上が得られないことが示された。