[論文レビュー] Automatable Evaluation Method Oriented toward Behaviour Believability for Video Games

Fabien Tencé, Cédric Buche|arXiv (Cornell University)|Sep 2, 2010

Artificial Intelligence in Games参考文献 5被引用数 9

ひとこと要約

本論文では、人間の行動ベクトルと比較することで、地球移動距離（EMD）を用いて類似度を測定することにより、自動化可能で署名ベースの方法を提案する。この方法により、人間の審査官を必要とせず、高スループットで繰り返し可能な評価が可能となり、単純な運動ベースの署名を用いても、エージェントと人間の間の微細な差異を明らかにできる。

ABSTRACT

Classic evaluation methods of believable agents are time-consuming because they involve many human to judge agents. They are well suited to validate work on new believable behaviours models. However, during the implementation, numerous experiments can help to improve agents' believability. We propose a method which aim at assessing how much an agent's behaviour looks like humans' behaviours. By representing behaviours with vectors, we can store data computed for humans and then evaluate as many agents as needed without further need of humans. We present a test experiment which shows that even a simple evaluation following our method can reveal differences between quite believable agents and humans. This method seems promising although, as shown in our experiment, results' analysis can be difficult.

研究の動機と目的

• 大規模なテストにおいて時間がかかりすぎるため、人間の審査官に依存しないエージェントの信ぴょう性評価を低減すること。
• 反復的開発および最適化の過程で、エージェント行動の自動的かつ繰り返し可能な評価を可能にする方法を開発すること。
• ビデオゲームにおける人間らしい意思決定および移動パターンの主要な側面を捉える行動署名を作成すること。
• 特にEMDを含むベクトルベースの類似度測定法が、人間とエージェントの行動パターンの差を効果的に検出できるかどうかを評価すること。
• 本手法が、エージェントの信ぴょう性研究における従来の人間評価の補完的ツールとして実用的かどうかを検討すること。

提案手法

• ゲーム環境における監視された知覚および行動から導出される特徴ベクトル（署名）としてエージェントおよび人間の行動を表現する。
• 行動署名間の類似度を測定するために、単なるL2距離よりも形状ベースの類似度を重視する地球移動距離（EMD）メトリックを用いる。
• 公平な比較を保証するため、人間プレイヤーおよびエージェントの両方に対して同一条件で行動データを収集する。
• EMDから導出される類似度行列の可視化のため、相対的な距離を保持する多変量スケーリング（MDS）を適用する。
• 移動パターンの信ぴょう性に関連する要素を捉えるために、速度の変化および相対的進行方向に基づいて署名を設計する。
• 繰り返し人間の入力を必要とせずに、エージェント行動モデルの評価とチューニングが可能な反復的パイプラインに本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 行動および知覚データから導出される行動署名は、ビデオゲームにおける人間らしい行動を効果的に捉えることができるか？
• RQ2 L2距離が失敗する状況において、地球移動距離（EMD）は人間とエージェントの行動パターンの有意義な差をどの程度検出できるか？
• RQ3 自動署名ベースの評価は、信ぴょう性の差を検出するために人間の判断と比較してどの程度有効か？
• RQ4 この手法は、信ぴょう性のあるエージェント行動の最適化パイプラインにおけるパrameterチューニングを支援できるか？
• RQ5 グローバル、文脈的、時間的といった、どの種類の署名が微細な信ぴょう性の兆候を検出するのに最も効果的か？

主な発見

• 地球移動距離（EMD）はL2距離を上回り、類似度の検出において優れた性能を示した。L2距離が等しいにもかかわらず、V1とV2が最も類似していることを正しく同定した。
• EMDに基づく類似度行列の多変量スケーリング（MDS）可視化では、元の距離が良好に保持されており、ストレス値が0.003未満であった。これは、表現の忠実度が高いことを示している。
• 単に2つのシンプルな運動ベースの署名を用いても、この手法はエージェントの行動パターンが人間とは明確に異なることを明らかにした。特に主成分分析（PCA）を用いた分析では、人間とエージェントのクラスタがはっきりと分離していた。
• この手法は、エージェントが人間と全体的に類似した移動パターンを示している一方で、キーボード制限などの入力制限が欠如しているため、人間らしくない正確さを示しており、注意深く観察すれば検出可能であることを明らかにした。
• 結果から、グローバル署名は広範な類似性を明らかにできるが、より高精度な信ぴょう性評価には文脈的および時間的署名が必要となる可能性があると示唆された。
• 本手法により、人間の審査官を必要とせず、スケーラブルかつ繰り返し可能なエージェント評価が可能となり、自動開発パイプラインへの統合が可能である。