[論文レビュー] Dyna-H: a heuristic planning reinforcement learning algorithm applied to role-playing-game strategy decision systems

Matilde Santos, José Antonio Martín H.+2 more|arXiv (Cornell University)|Jan 20, 2011

Reinforcement Learning in Robotics参考文献 22被引用数 7

ひとこと要約

本稿では、ロールプレイングゲームにおける経路探索の性能を向上させるために、ヒューリスティック計画をDynaアーキテクチャに統合したモデルフリー強化学習アルゴリズム、Dyna-ℋを提案する。悪夢のような心的シミュレーションにインspiredされた、最悪の軌道からサンプリングすることで、学習を加速し、Q-LearningおよびDyna-Qと比較して経路長を90%以上短縮した。その結果、速度と最適性の両面で優れている。

ABSTRACT

In a Role-Playing Game, finding optimal trajectories is one of the most important tasks. In fact, the strategy decision system becomes a key component of a game engine. Determining the way in which decisions are taken (online, batch or simulated) and the consumed resources in decision making (e.g. execution time, memory) will influence, in mayor degree, the game performance. When classical search algorithms such as A* can be used, they are the very first option. Nevertheless, such methods rely on precise and complete models of the search space, and there are many interesting scenarios where their application is not possible. Then, model free methods for sequential decision making under uncertainty are the best choice. In this paper, we propose a heuristic planning strategy to incorporate the ability of heuristic-search in path-finding into a Dyna agent. The proposed Dyna-H algorithm, as A* does, selects branches more likely to produce outcomes than other branches. Besides, it has the advantages of being a model-free online reinforcement learning algorithm. The proposal was evaluated against the one-step Q-Learning and Dyna-Q algorithms obtaining excellent experimental results: Dyna-H significantly overcomes both methods in all experiments. We suggest also, a functional analogy between the proposed sampling from worst trajectories heuristic and the role of dreams (e.g. nightmares) in human behavior.

研究の動機と目的

• 正確なモデルが入手できない大規模または不完全な環境において、A*のような古典的探索アルゴリズムの限界を克服すること。
• 不確実性下での逐次意思決定のためのモデルフリー強化学習におけるサンプル効率および収束速度を向上させること。
• 完全な環境モデルを必要とせずに、Dynaフレームワークにヒューリスティック誘導型計画を統合し、学習を強化すること。
• 制御されたRPG経路探索シナリオにおいて、提案手法を標準的なRLベースラインと比較し、優れた性能を実証すること。
• 最悪の軌道からサンプリングするプロセスと、夢や悪夢に基づく学習といった人間の認知プロセスとの機能的類似性を調査すること。

提案手法

• A*に類似した可解なヒューリスティック関数を用いて探索を誘導するヒューリスティック計画モジュールをDynaアーキテクチャに統合する。
• 最適でない結果に至る可能性の高い枝を優先して計画を実施し、最悪の軌道に注目する。
• このヒューリスティック誘導型計画をDynaエージェントの学習ループに統合し、シミュレートされた経験に基づくオンラインで逐次更新を可能にする。
• エージェントが障害物を避けながらスタート状態からゴール状態へナビゲートするグリッドワールドRPG環境でアルゴリズムを適用する。
• 計算コストと方策の最適性のトレードオフを制御するため、計画ステップ数（N）を調整する。
• 価値関数学習にQ学習の更新則を用い、実際の相互作用とヒューリスティック誘導型シミュレートロールアウトから得られる経験を統合する。

実験結果

リサーチクエスチョン

• RQ1 ヒューリスティック誘導型計画は、経路探索タスクにおけるモデルフリー強化学習のサンプル効率および収束速度を向上させることができるか？
• RQ2 最適またはオンポリシーの軌道ではなく、最悪の軌道からサンプリングすることで、最適方策への収束が速くなるか？
• RQ3 計画ステップ数（N）は、Dyna-ℋフレームワークにおける学習速度と方策品質のトレードオフにどのように影響するか？
• RQ4 シミュレートされたRPG環境において、Dyna-ℋはQ-LearningおよびDyna-Qを経路長と学習速度の両面で上回ることができるか？
• RQ5 提案されたヒューリスティックサンプリングと、夢や悪夢に基づく学習といった人間の認知プロセスとの間に、機能的類似性があるか？

主な発見

• Dyna-ℋは、Q-LearningおよびDyna-Qと比較して学習速度が著しく優れており、最小限の計画ステップでも7エピソード未満で収束する。
• ベースライン手法と比較して平均経路長を90%以上短縮し、ほぼ最適な軌道を達成した。
• N=1の場合、迅速に収束するが、部分的に最適でない方策（1エピソードあたり約370ステップ）に収束する。一方、Nが5, 10, 25に高くなるにつれて、次第に性能が向上する。
• 最悪の軌道からサンプリングしているにもかかわらず、オンポリシーのサンプリングよりも収束が速く、劣悪な経路の探索が学習を加速させることを示している。
• N=5, 10, 25の学習曲線は形状と収束速度がほぼ同一であり、最終的な方策の最適性の違いのみが見られる。
• 計画ステップ数（N）は、計算コストと方策品質のバランスを直接制御するための制御ノブを提供し、効率的なリソースのトレードオフを可能にする。