[論文レビュー] Active player modelling

Julian Togelius, Noor Shaker+1 more|arXiv (Cornell University)|Dec 1, 2013

Machine Learning and Algorithms参考文献 8被引用数 3

ひとこと要約

本論文は、システムが最も情報を得られるプレイヤーのインタラクションを選択することで、データ収集を最適化するアクティブラーニングをプレイヤーモデリングに適用することを提案している。学習効率を著しく向上させる。このアプローチは、形式的な好奇心のモデルと結びつけられ、アクティブなプレイヤーモデリングにより、ゲームがプレイヤー自身の好奇心と対称的かつ本質的に興味深い方法でプレイヤーを探索できると示唆している。

ABSTRACT

We argue for the use of active learning methods for player modelling. In active learning, the learning algorithm chooses where to sample the search space so as to optimise learning progress. We hypothesise that player modelling based on active learning could result in vastly more efficient learning, but will require big changes in how data is collected. Some example active player modelling scenarios are described. A particular form of active learning is also equivalent to an influential formalisation of (human and machine) curiosity, and games with active learning could therefore be seen as being curious about the player. We further hypothesise that this form of curiosity is symmetric, and therefore that games that explore their players based on the principles of active learning will turn out to select game configurations that are interesting to the player that is being explored.

研究の動機と目的

• 受動的データ収集から能動的データ収集への移行により、プレイヤーモデリングの効率を向上させること。
• アクティブラーニングが、正確なプレイヤーモデリングに必要なデータ量をいかに削減できるかを調査すること。
• アクティブラーニングとゲームにおける形式的な好奇心のモデルとの関係を探索すること。
• アクティブラーニングにより、ゲームとプレイヤーの間で相互に興味をもつ対称的な相互作用が生じることを提唱すること。

提案手法

• 学習アルゴリズムが、学習の進捗を最大化するために、プレイヤー探索空間におけるサンプリング位置を選択する。
• アクティブラーニングをプレイヤーモデリングに適用し、最も情報を得られるプレイヤー反応をもたらすゲーム設定を選択する。
• このアプローチを、予測の不確実性によって駆動される探索であるモデルに正式に結びつける。
• プレイヤーのモデル予測における不確実性に基づいて、ゲームコンテンツを動的に適応させる。
• 最も情報を得られるゲーム状態とは、プレイヤー行動予測のあいまいさを低減するものであると仮定する。
• プレイヤーの探索を、ゲームとプレイヤーがお互いに学びあうプロセスとしてフレームする。

実験結果

リサーチクエスチョン

• RQ1 アクティブラーニングは、受動的データ収集と比較して、プレイヤーモデリングの効率をどのように向上させるか？
• RQ2 アクティブラーニングは、ゲームにおける形式的な好奇心のモデルとどのように同等であるか？
• RQ3 アクティブラーニングにより、ゲームの選択がプレイヤーにとっても、プレイヤーの選択がゲームにとっても同様に興味深い対称的探索が可能になるか？
• RQ4 アクティブラーニングシステムがプレイヤーをモデリングする際、どのようなゲーム設定を選択するか？
• RQ5 アクティブラーニングは、プレイヤーモデルの獲得の質と速度にどのように影響するか？

主な発見

• アクティブラーニングにより、最も情報を得られるインタラクションに集中することで、正確なプレイヤーモデリングに必要なデータ量を著しく削減できる。
• プレイヤーモデリングにおけるアクティブラーニングは、形式的な好奇心のモデルと正式に同等であり、AIの探索行動を人間の好奇心に似せたものに結びつける。
• このアプローチにより、ゲームは単に情報的なだけでなく、プレイヤーにとっても魅力的なゲーム設定を選択できるようになる。
• システムの探索戦略は対称的であり、ゲームの選択がプレイヤーにとっても、プレイヤーの選択がゲームにとっても同様に興味深いものとなる。
• アクティブラーニングに基づくプレイヤーモデリングは、より効率的かつ、可能性としてより魅力的な相互作用を生み出す。
• このフレームワークは、アクティブラーニングを用いるゲームが、自然にプレイヤーを個人的に関係のある、刺激的な方法で探索するよう進化する可能性があると示唆している。