[論文レビュー] The Challenge of Believability in Video Games: Definitions, Agents Models and Imitation Learning

Fabien Tencé, Cédric Buche+2 more|arXiv (Cornell University)|Sep 2, 2010

Artificial Intelligence in Games参考文献 24被引用数 24

ひとこと要約

本稿では、模倣学習を用いて、ビデオゲーム内での信じられないほどの、プレイヤー制御に似たエージェントを生成するための2段階フレームワークを提案する。信ぴょう性を人間のコントロールの錯覚として定義し、ドメイン固有の基準を用いて評価する。リアルタイムで適応的かつ人間らしい挙動を実現するため、オンラインで高速に学習できるモデル——特にHMMに Baum-Welch アルゴリズムを用いたインクリメンタル学習アルゴリズム——の導入を提唱する。

ABSTRACT

In this paper, we address the problem of creating believable agents (virtual characters) in video games. We consider only one meaning of believability, ``giving the feeling of being controlled by a player'', and outline the problem of its evaluation. We present several models for agents in games which can produce believable behaviours, both from industry and research. For high level of believability, learning and especially imitation learning seems to be the way to go. We make a quick overview of different approaches to make video games' agents learn from players. To conclude we propose a two-step method to develop new models for believable agents. First we must find the criteria for believability for our application and define an evaluation method. Then the model and the learning algorithm can be designed.

研究の動機と目的

• ビデオゲームにおける信ぴょう性を、芸術分野の一般的な「生命の錯覚」とは異なる、プレイヤーによる人間のコントロールの錯覚として定義すること。
• 予測不能さ、学習の適応性、反復的または失敗した挙動の回避といった、ドメイン固有の基準が信ぴょう性に与える影響を特定すること。
• 信ぴょう性のあるエージェントを設計する2段階の手法を提案すること：(1) 評価基準と評価方法を定義し、(2) それらに基づいてモデルや学習アルゴリズムを選定または設計すること。
• ゲームプレイ中にプレイヤー制御の錯覚を維持するため、オンラインかつ高速な学習の必要性を強調すること。
• 人間のデモ行動をモデル化することで、明示的なプログラミングなしに人間らしい意思決定を再現できるため、模倣学習が信ぴょう性のあるエージェント行動を達成するのに最も適したアプローチであると位置づけること。

提案手法

• プレイヤーとのインタラクションやゲーム内での身体的体験と整合させるために、信ぴょう性を『プレイヤーに人間が操作していると錯覚させる』こととして定義すること。
• 2段階の設計プロトコルを採用する：(1) 応用分野固有の信ぴょう性基準と評価方法を特定し、(2) それらの基準に基づいて行動モデルと模倣学習アルゴリズムを選定または設計すること。
• ゲームプレイ中にパラメータをオンラインで更新できるように、隠れマルコフモデル（HMM）に Baum-Welch アルゴリズムを用いたインクリメンタル学習技術を適用すること。
• 過学習やランダムネスを回避するため、高速で観察可能な学習と、限られたデモからの一般化を実現する学習制約を統合すること。
• 構造的またはパrametricな適応がリアルタイムで可能になるように、行動モデルと学習アルゴリズムを統合し、反応性と信ぴょう性を確保すること。
• 模倣学習の訓練データとして人間のデモを用い、明示的なプログラミングなしに人間らしい意思決定を再現することを目的とすること。

実験結果

リサーチクエスチョン

• RQ1 プレイヤーの身体的体験とインタラクションを考慮する場合、どのようにしてゲームエージェントの信ぴょう性を定義できるか？（一般的な「生命の錯覚」とは異なる。）
• RQ2 ゲームエージェントの信ぴょう性の認識に影響を与える主な基準は何であり、それらはゲームジャンルやインタラクションの種別によってどのように変化するか？
• RQ3 模倣学習は、リアルタイムで人間プレイヤーの行動を再現することで、どれほど信ぴょう性のあるエージェント行動を実現できるか？
• RQ4 学習プロセスが高速で観察可能かつ一般化可能であり、プレイヤー制御の錯覚を損なわないようにするには、どのような学習アルゴリズムが設計できるか？
• RQ5 インタラクティブなゲーム環境で高い信ぴょう性を実現する際、行動モデルと学習アルゴリズムを選定する際の制約とトレードオフは何か？

主な発見

• ビデオゲームにおける信ぴょう性は、エージェントが人間プレイヤーに操作されていると錯覚させるものとして最も適切に定義される。これは、伝統的なアニメーション分野の広義の「生命の錯覚」とは明確に異なる。
• 予測可能性と学習不能性は、プレイヤー制御の錯覚を破壊する主な欠陥であり、中程度の予測不能さは信ぴょう性を高める要因となる。
• 模倣学習は、人間の行動デモから直接人間らしい挙動をモデル化できるため、信ぴょう性のあるエージェント行動を達成するのに極めて適したアプローチであると特定された。
• オンライン学習、特にHMMに Baum-Welch アルゴリズムを用いたインクリメンタル学習アルゴリズムは、リアルタイムでの適応を可能にし、信ぴょう性を維持するために不可欠な高速で観察可能な学習を支援する。
• 信ぴょう性のあるエージェントの成功は、行動モデル、学習アルゴリズム、ゲーム環境の具体的な制約との整合性に強く依存する。
• 人間と単純なエージェントの信ぴょう性を事前に評価することで、より洗練された学習能力を持つエージェントの設計のためのベンチマークを確立できる。