[論文レビュー] Using the Crowd to Generate Content for Scenario-Based Serious-Games

Sigal Sina, Sarit Kraus+1 more|arXiv (Cornell University)|Feb 20, 2014

Artificial Intelligence in Games参考文献 24被引用数 4

ひとこと要約

本論文は、特に警察捜査訓練のような応用分野を想定し、多様で整合的かつ信頼性の高いシナリオコンテンツを自動生成するためのクラウドソーシングベースの手法を提案する。アマゾン・メカニカル・トゥーク（AMT）を活用して日常的行動とそのバリエーションのデータベースを構築し、k-近傍法（k-NN）および「埋め込み・調整」アプローチを用いてコンテンツ生成を行う。この手法は、手動で作成されたものや計画ベースの代替手法と同等の信頼性を持つシナリオを生成するが、はるかにスケーラブルで多様性に富んでいる。

ABSTRACT

In the last decade, scenario-based serious-games have become a main tool for learning new skills and capabilities. An important factor in the development of such systems is the overhead in time, cost and human resources to manually create the content for these scenarios. We focus on how to create content for scenarios in medical, military, commerce and gaming applications where maintaining the integrity and coherence of the content is integral for the system's success. To do so, we present an automatic method for generating content about everyday activities through combining computer science techniques with the crowd. We use the crowd in three basic ways: to capture a database of scenarios of everyday activities, to generate a database of likely replacements for specific events within that scenario, and to evaluate the resulting scenarios. We found that the generated scenarios were rated as reliable and consistent by the crowd when compared to the scenarios that were originally captured. We also compared the generated scenarios to those created by traditional planning techniques. We found that both methods were equally effective in generated reliable and consistent scenarios, yet the main advantages of our approach is that the content we generate is more varied and much easier to create. We have begun integrating this approach within a scenario-based training application for novice investigators within the law enforcement departments to improve their questioning skills.

研究の動機と目的

• 法執行務、医療、軍事訓練などの分野におけるシナリオベースのシリアスゲームのシナリオコンテンツを手作業で作成する際の高コスト・高時間・高リソース要件を低減すること。
• 訓練用途におけるパーソナライズされた多様なシナリオを生成する際のコンテンツの整合性と一貫性を維持すること。
• 物語中心の訓練システムにおける伝統的な計画ベースのコンテンツ生成の代替手段として、スケーラブルで低コストな手法を開発すること。
• クラウドで生成されたシナリオの説得力と一貫性を、元のシナリオおよび計画ベースで生成されたシナリオと比較して評価すること。
• 初心者捜査官に対する繰り返しで多様な訓練ケースを提供するために、自動シナリオ生成を可能にすること。

提案手法

• 半構造化フォームを用いて、アマゾン・メカニカル・トゥーク（AMT）の作業者から現実の日常的行動シナリオを収集し、一貫性とデータ品質を確保する。
• シナリオ内の置換可能なイベントのデータベースを構築し、物語的記述と統計的属性の両方を記録する。
• k-近傍法（k-NN）を用いて、文脈的に最も適切なイベント置換を特定し、シナリオの整合性を保つ。
• 選択された置換とユーザーのプロファイルに基づき、パーソナライズされ、流暢な物語的記述を生成するための「埋め込み・調整」アプローチを採用する。
• 最終的な生成シナリオにおける論理的整合性と一貫性を保証するために、MaxSat論理エンジンを活用する。
• AMTベースの追加のユーザースタディを通じて、生成コンテンツの妥当性、一貫性、流暢さを6段階スケールで作業者が評価する形で検証・評価を行う。

実験結果

リサーチクエスチョン

• RQ1 クラウドソーシングで得たデータは、シナリオベースのシリアスゲーム用に多様で整合的かつ信頼性のあるコンテンツを効果的に生成するために適しているか？
• RQ2 信頼性と一貫性という観点から、クラウドで生成されたシナリオは、手作業で作成されたものや計画ベースの生成手法と比べてどの程度の品質を示すか？
• RQ3 本手法は、生成コンテンツの高い多様性を実現しつつ、シナリオの整合性をどの程度保っているか？
• RQ4 k-NNに基づく置換選択手法は、変更されたシナリオにおける一貫性と現実性をどの程度維持できるか？
• RQ5 人間の評価者にとって、生成されたコンテンツは元のシナリオや計画ベースで生成されたものと同等に説得力があり一貫性があると感じられるか？

主な発見

• AMTの作業者による評価において、クラウドで生成されたシナリオは、元のシナリオと同等に信頼性があり一貫性があると評価され、説得力・一貫性・流暢さの平均得点に有意差は認められなかった。
• SNACS（シナリオベース・ナラティブコンテンツ合成）を用いたk-NNベースの手法は、ランダムな置換より優れており、KAR K=11およびKAR K=1手法では、生成された行動を識別したユーザーはそれぞれ7%にとどまったが、ランダム選択では61%に上昇した。
• SNACSベースの生成手法は、特にレクリエーションや雑用の活動において、元の手法および計画ベースの手法と同等の得点を示し、統計的に差がないことが確認された。
• SNACS-Best（SNACS-Bst）およびSNACS-Tagのバージョンは、SNACS-Anyよりもわずかに優れた結果を示しており、ランダムマッチングではなくターゲット指向の選択が有効であることが示された。
• 計画ベースの手法は効果的ではあるが、著しくコストが高く、時間もかかるため、クラウドベースのアプローチのスケーラビリティの優位性が顕著に現れた。
• ランダムな変更（Rnd-SNACSおよびRnd-Planner）は、他のすべての手法よりも著しく低い得点を示し、p値が0.05未満であった。これは、ランダム性ではなく構造的な生成手法の重要性を裏付けた。