[論文レビュー] Simulation Results on Selector Adaptation in Behavior Trees

Blake Hannaford, Danying Hu+2 more|arXiv (Cornell University)|Jun 29, 2016

Artificial Intelligence in Games参考文献 5被引用数 14

ひとこと要約

本稿では、センサーに依存する成功確率に基づいて子行動を学習および再順序付けする、適応的動作木（BT）セレクタノードを提案する。この手法により、タスクの性能が顕著に向上する。シミュレーションの結果、頻度主義的成功確率推定値をセンサー特徴量に条件付けすることで、静的またはグリーディ選択よりも優れた性能が得られ、グリーディセレクタは効果を発揮するためには事前に訓練が必要であることが示された。

ABSTRACT

Behavior trees (BTs) emerged from video game development as a graphical language for modeling intelligent agent behavior. However as initially implemented, behavior trees are static plans. This paper adds to recent literature exploring the ability of BTs to adapt to their success or failure in achieving tasks. The "Selector" node of a BT tries alternative strategies (its children) and returns success only if all of its children return failure. This paper studies several means by which Selector nodes can learn from experience, in particular, learn conditional probabilities of success based on sensor information, and modify the execution order based on the learned iformation. Furthermore, a "Greedy Selector" is studied which only tries the child having the highest success probability. Simulation results indicate significantly increased task performance, especially when frequentist probability estimate is conditioned on sensor information. The Greedy selector was ineffective unless it was preceded by a period of training in which all children were exercised.

研究の動機と目的

• 経験に基づいて適応可能な行動木（BT）セレクタノードの性能を向上させること。
• センサー情報に条件付けた成功確率推定値が、BTタスク性能に与える影響を調査すること。
• 最も高い確率を持つ子ノードを優先するグリーディセレクタの有効性を評価すること。
• 複雑なタスクにおいて、適応的セレクタが静的または訓練されていないセレクタを上回る条件を特定すること。
• 訓練期間が、効果的なグリーディセレクタ行動を可能にする役割を調査すること。

提案手法

• 本稿では、学習された成功確率に基づいて子行動を動的に再順序付けするセレクタノードをモデル化し、頻度主義的推定式 $ P_{Si} = \frac{\#\text{successes}}{T_i} $ を用いる。
• 成功確率は、センサー情報から導出される離散的特徴ベクトル $ F(t) $ に条件付けられ、文脈に応じた再順序付けが可能になる。
• 複数の再順序付け戦略（$ P(S) $、$ P(S|F) $、コスト、および利得）を評価する。利得は負のコストとして測定される。
• グリーディセレクタは、すべての子ノードを実行する訓練フェーズを経てから、成功確率が最も高い子ノードのみを選択する。
• 平均チックス、コスト、失敗数、および利得を測定することで、地形走破と消火作業の2つのタスクでシミュレーションを実施する。
• 成功／失敗行動のクラスタリングを改善するために、特徴空間の次元削減技術（特異値分解やベクトル量子化など）を用いる。

実験結果

リサーチクエスチョン

• RQ1 センサーから得られる特徴量に条件付けた成功確率推定値の条件付けが、行動木セレクタの性能向上に寄与するか？
• RQ2 最も高い確率を持つ子ノードのみを選択するグリーディセレクタは、他の適応的戦略と比較してどのように性能を発揮するか？
• RQ3 事前訓練フェーズが、グリーディセレクタの有効性に与える影響は何か？
• RQ4 コストおよび利得に基づく再順序付け戦略は、確率に基づく再順序付けと比較して、複雑なタスクにおいてどのように異なるか？
• RQ5 センサーに依存する確率推定が、静的または訓練されていないセレクタと比較して、より強固で効率的なタスク完了を可能にするか？

主な発見

• センサー情報に条件付けた成功確率推定（$ P(S|F) $）は、地形走破タスクで平均チックス数が最も低く（18）、最も高い性能を示した。
• 事前に訓練を経たグリーディセレクタ（S2g25）は、消火タスクで最も優れた性能を発揮し、平均167チックスを記録した。
• 訓練されていないグリーディセレクタは、消火タスクで平均900チックス、100％の失敗率を示し、訓練フェーズの重要性が浮き彫りになった。
• 消火シナリオでは、walk_limitを120から150に引き上げたことで、フライト変換率が57％から0％に低下し、平均コストが196チックス増加した。これは、より高価なフライト行動が増加したためである。
• 利得またはコストの順序付けを用いたセレクタは、$ P(S|F) $ に基づく再順序付けよりも性能が悪く、特に負のコストモードでは顕著であった。これは、線形利得測定が性能最適化と一致しない可能性を示唆している。
• ダミー・セレクタ（固定順序）は、常にすべての適応的戦略を下回り、地形タスクで平均228チックス、平均245コストを記録した。