[論文レビュー] Utility of a Behavlets approach to a Decision theoretic predictive player model

Benjamin Ultan Cowley, Darryl Charles|arXiv (Cornell University)|Mar 29, 2016

Artificial Intelligence in Games参考文献 7被引用数 4

ひとこと要約

本論文は、プレイヤーの心理的要因、ゲーム構造、行動シーケンスを統合するBehavletsアプローチを、Pac-Manにおける意思決定理論的予測プレイヤーモデルの基盤として評価する。基本的な状態特徴量に心理学的知見を反映した複合的Behavletsを導入することで、モデルの予測精度が35%向上し、リアルタイムでの実行が可能となった。これは、行動に裏打ちされた特徴量が、ゲームAIにおける予測モデリングを顕著に向上させることを示している。

ABSTRACT

We present the second in a series of three academic essays which deal with the question of how to build a generalized player model. We begin with a proposition: a general model of players requires parameters for the subjective experience of play, including at least three areas: a) player psychology, b) game structure, and c) actions of play. Based on this proposition, we pose three linked research questions, which make incomplete progress toward a generalized player model: RQ1 what is a necessary and sufficient foundation to a general player model?; RQ2 can such a foundation improve performance of a computational intelligence-based player model?; and RQ3 can such a player model improve efficacy of adaptive artificial intelligence in games? We set out the arguments for each research question in each of the three essays, presented as three preprints. The second essay, in this preprint, illustrates how our 'Behavlets' method can improve the performance and accuracy of a predictive player model in the well-known Pac-Man game, by providing a simple foundation for areas a) to c) above. We then propose a plan for future work to address RQ2 by conclusively testing the Behavlets approach. This plan builds on the work proposed in the first preprint essay to address RQ1, and in turn provides support for work on RQ3. The Behavlets approach was described previously; therefore if citing this work please use the correct citation: Cowley B, Charles D. Behavlets: a Method for Practical Player Modelling using Psychology-Based Player Traits and Domain Specific Features. User Modelling and User-Adapted Interaction. 2016 Feb 8; online (Special Issue on Personality in Personalized Systems):1-50.

研究の動機と目的

• 計算知能に基づく予測プレイヤーモデルの性能を向上させるために、心理学的知見を反映した基盤（例：Behavlets）が有効であるかどうかを調査すること。
• 主観的なプレイヤー体験（心理的要因、ゲーム構造、行動ダイナミクスを含む）を統合していない既存のモデルにおけるギャップを是正すること。
• このような基盤が、モデルの精度と反応性を向上させることで、ゲーム内での適応的AIの有効性を高めることに寄与するかどうかを評価すること。
• プレイヤー特性とゲーム固有の行動を予測モデルに統合する実用的手段として、Behavletsの実証的妥当性を提供すること。
• 将来的な一般化プレイヤーモデリング研究の基盤を築くこと。具体的には、検証済みの心理学的およびデザインベースの特徴量をAI意思決定フレームワークに統合すること。

提案手法

• Behavlets手法を用いて、Pac-Manにおける延長された行動シーケンスから複合的特徴量を抽出し、プレイヤーの心理的要因、ゲームメカニクス、デザインパターンを観察可能な行動的特徴に統合する。
• 2つの意思決定理論的モデルを比較する：1つは基本的なゲーム状態特徴量（ベースライン）を用い、もう1つはBehavletsから導出された複合的特徴量を用いて効用関数を計算する。
• 効用関数は、有限の計画期間内で期待効用を最大化するように選択される行動に基づく意思決定理論フレームワークで計算される。
• 制御された実験により、モデルの性能を正確性（正しく予測された移動の割合）および実行速度（状態更新あたりのミリ秒）で測定する。
• 特徴量の重要性は除外分析により評価する：各Behavletを順次除外し、精度および速度に与える影響を測定する。
• 相関分析を用いて、Behavletsに基づく事前のプレイヤータイプ分類結果とモデルの予測精度の関連性を検証し、アプローチの移行可能性を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 プレイヤーの心理的要因、ゲーム構造、行動ダイナミクスを統合する一般化プレイヤーモデルのための、必要十分な基盤とは何か？
• RQ2 このような基盤が、計算知能に基づく予測プレイヤーモデルのアルゴリズム的性能および正確性を向上させることができるか？
• RQ3 この基盤に基づくプレイヤーモデルが、ゲーム内での適応的AIの有効性と反応性を向上させることができるか？
• RQ4 基本的な状態特徴量と比較して、Behavletsから導出された特徴量が予測正確性にどの程度寄与するか？
• RQ5 心理学的および行動的特徴量（Behavlets経由）は、プレイヤータイプ分類および予測性能とどの程度相関するか？

主な発見

• Behavletsベースのモデルは72.7%の正確性を達成し、基本的な状態特徴量のみを用いたベースラインモデルの72.7%の正確性と比較して35%の向上を示した。
• Behavletsモデルはリアルタイム性能（状態あたり240 ms）を達成したが、ベースラインモデルは非リアルタイム速度で動作した。
• Points_Max特徴量を除外すると正確性が約16%低下したため、この特徴量が効用計算において支配的であることが示された。
• 他のBehavletsは残りの性能向上に寄与しており、特に顕著な特徴量は存在しなかったため、相乗的相互作用が生じていると考えられる。
• プレイヤータイプ分類（征服者対非征服者）とモデルの予測正確性の間に統計的に有意な正の相関（r = 0.5, p = 0.001）が確認され、Behavletsのプレイヤーモデリングへの関連性が裏付けられた。
• 実行速度と正確性の間には弱く有意でない相関（r = 0.16, p ≈ 0.1）が確認され、性能向上が長時間の計算に起因しているわけではないことが示された。