[論文レビュー] Domain Authoring Assistant for Intelligent Virtual Agents

Sepehr Janghorbani, Ashutosh Modi+2 more|arXiv (Cornell University)|Apr 5, 2019

Artificial Intelligence in Games参考文献 37被引用数 9

ひとこと要約

本論文では、クリエイティブな著作者が自由に記述する自然言語による記述から、知能仮想エージェント（IVAs）の計画ドメインモデルを自動生成する自然言語ベースの作成補助ツールを提示する。従属構文解析と単語埋め込みを用いて、性格、感情、行動の記述を実行可能な計画ドメインに変換するとともに、欠落や不整合な情報の特定も行い、ゴールスタンダードデータセット上で86.25%の正確性を達成した。

ABSTRACT

Developing intelligent virtual characters has attracted a lot of attention in the recent years. The process of creating such characters often involves a team of creative authors who describe different aspects of the characters in natural language, and planning experts that translate this description into a planning domain. This can be quite challenging as the team of creative authors should diligently define every aspect of the character especially if it contains complex human-like behavior. Also a team of engineers has to manually translate the natural language description of a character's personality into the planning domain knowledge. This can be extremely time and resource demanding and can be an obstacle to author's creativity. The goal of this paper is to introduce an authoring assistant tool to automate the process of domain generation from natural language description of virtual characters, thus bridging between the creative authoring team and the planning domain experts. Moreover, the proposed tool also identifies possible missing information in the domain description and iteratively makes suggestions to the author.

研究の動機と目的

• クリエイティブな著作者によるIVAの性格や行動に関する自然言語記述を、形式的な計画ドメイン知識に自動的に変換し、手作業による設計依存を低減すること。
• 技術的な計画知識が不要な状態で、著作者が自由にキャラクターの特徴を記述できるように支援し、創造的表現を促進すること。
• ドメイン記述における欠落や不整合な情報の特定を行い、著作者に対して段階的な改善提案を行うこと。
• クリエイティブチームと計画ドメイン専門家との間のギャップを埋め、自然言語からの直接的な実行可能エージェント行動の作成を可能にすること。
• システムの正確性と使いやすさを、正しい計画ドメインの生成および著作者の創造的表現支援の観点から評価すること。

提案手法

• システムは、キャラクター行動、感情、性格に関する自然言語文の句構造的関係を抽出するために従属グラフ解析を用いる。
• 単語埋め込みを用いて状態と行動を表現し、自然言語と計画ドメイン要素との間で意味的マッチングを可能にする。
• 文の単純化モジュールにより、複雑な文をより単純で解析可能な単位に分解し、解析の正確性を向上させる。
• 繰り返し検証を実施し、不完全または不整合なドメイン記述を特定し、修正案を提示する。
• GUIベースのインターフェースを提供し、著作者が記述を入力し、生成された計画ドメインをリアルタイムで確認できるようにする。
• 状態および行動の同定に関する精度、再現率、F1スコアといった指標を用いて、ゴールスタンダードデータセットとの照合により出力を検証する。

実験結果

リサーチクエスチョン

• RQ1 自然言語インターフェースは、IVAの性格や行動に関するクリエイティブな著作者の記述を、実行可能な計画ドメインに正確に変換できるか？
• RQ2 本システムは、ドメイン記述における欠落や不整合な情報の検出および修正案の提示において、どの程度効果的か？
• RQ3 自然言語から形式的計画言語（例：PDDL）へのマッピングにおいて、意味的正確性をどの程度保持できるか？
• RQ4 非技術的クリエイティブな著作者が、実世界の作成作業において本ツールをどの程度使いやすいと感じられるか？
• RQ5 本システムは、複雑または抽象的な感情状態を含むさまざまなタイプのIVA行動に一般化可能か？

主な発見

• システムは、80個のゴールスタンダードのアフォーダンス事前／事後条件のうち、69個を正しく同定し、86.25%の正確性を達成した。
• 11件の不一致のうち、10件が誤検出の条件、1件が見逃された条件であり、特に意味的に繊細な状態（例：'(Max, has, money)' や '(Max, focus, typing)'）でエラーが頻発した。
• 状態'(Max, focus, typing)'は、意味的に類似した状態（例：'(Max, focus, play)' や '(Max, focus, help_customers)'）と混同されやすく、埋め込みベースの状態類似度評価における課題を示している。
• ユーザースタディーでは、参加者の81%がGUIの利便性と使いやすさを高く評価し、SUSスコアは61.2（中程度の使いやすさ）を記録した。
• システムは意図したすべての状態と行動を正しく生成し、技術的知識が最小限の状態で実世界のIVA作成が可能であることを示した。
• 改善提案機能および不整合検出機能の評価がユーザーから高く評価され、反復的かつ創造的な作成プロセスにおける支援的役割を裏付けた。