[論文レビュー] NAIL: A General Interactive Fiction Agent

Matthew Hausknecht, Ricky Loynd+3 more|arXiv (Cornell University)|Feb 12, 2019

Natural Language Processing Techniques参考文献 12被引用数 29

ひとこと要約

NAILは、ナビゲーション、オブジェクトの検査、相互作用、知識グラフの維持のための専用意思決定モジュールを備えたモジュラー・アーキテクチャを用いる汎用的でインタラクティブなフィクションエージェントであり、パーサー基盤のテキストアドベンチャー・ゲームで優れた性能を発揮する。2018年のテキストアドベンチャーAIコンペティションにおいて、明示的な知識グラフ、検査行動の多用、行動成功予測のための学習済み有効性検出器のおかげで、先行エージェントであるCARLやGolovinを大きく上回る、未学習の20本のゲームで平均2.56%の達成率を記録した。

ABSTRACT

Interactive Fiction (IF) games are complex textual decision making problems. This paper introduces NAIL, an autonomous agent for general parser-based IF games. NAIL won the 2018 Text Adventure AI Competition, where it was evaluated on twenty unseen games. This paper describes the architecture, development, and insights underpinning NAIL's performance.

研究の動機と目的

• 事前にゲーム固有の訓練を受けることなく、任意の人工的に作られたパーサー基盤のインタラクティブ・フィクションゲームを自律的にプレイできる汎用的で自動化されたエージェントの開発。
• テキストベースの環境における組み合わせ的アクション空間、部分観測性、常識的推論の課題に対処すること。
• 構造化された知識表現を通じて、迅速な探索、効果的なオブジェクト相互作用、正確な状態追跡を可能にすることで、未学習のIFゲームにおけるパフォーマンスの向上。
• 特にスコア蓄積と多様で未学習のゲームへの一般化性能において、2018年のテキストアドベンチャーAIコンペティションで既存エージェントを上回ること。

提案手法

• NAILは、ゲーム状態からの文脈的キーワードに応じてアクティブ化される、専用の意思決定モジュール（ナビゲーター、エクサミナー、インタラクター、ハーダー、アイドル、および特化モジュール）を備えたモジュラー・アーキテクチャを採用している。
• 意思決定モジュールが動的に更新する、人間が解釈可能な明示的知識グラフを維持しており、場所、オブジェクト、インベントリ、およびアクションの結果を記録している。
• エクサミナー・モジュールは、語彙埋め込みと意味的類似度を用いて、潜在的に相互作用可能なアイテムを優先順位付けしながら、候補オブジェクトに対して包括的な「検査」アクションを実行する。
• インタラクター・モジュールは、微調整済みの言語モデルを用いて、知識グラフを根拠にした文脈に適したアクションを生成する。
• 学習済みの有効性検出器は、アクションが成功する可能性があるかどうかを予測し、不正なアクションの削減と知識グラフの正確性向上に寄与する。
• ゲーム状態のシグナル（例：「真っ暗」や「何も見えない」）に基づいて、モジュールが段階的に制御を引き継ぐ階層的意思決定制御システムを採用している。

実験結果

リサーチクエスチョン

• RQ1 モジュラーかつ知識拡張型エージェントは、多様で未学習のインタラクティブ・フィクションゲームにおいて、既存のIFエージェントを凌駕できるか？
• RQ2 オブジェクトの広範な検査は、テキストベースのゲームにおけるアクション選択とパズル解決にどの程度寄与するか？
• RQ3 ゲーム固有の報酬信号に依存せずに、成功したアクションと失敗したアクションを区別する学習済み有効性検出器はどの程度効果的か？
• RQ4 各意思決定モジュールが全体のパフォーマンスに果たす貢献度は何か？特にスコア蓄積に最も寄与する要因は何か？
• RQ5 1ゲームあたり1,000ステップという制限で、一般化可能なエージェントが実際の人間のプレイ時間に近い性能を達成できるか？

主な発見

• NAILは2018年のテキストアドベンチャーAIコンペティションにおいて、未学習の20本のゲームで平均2.56%の達成率を記録し、先行エージェントのCARL（1.59%）やGolovin（1.45%）を大きく上回った。
• エージェントのコアモジュール（ナビゲーター、エクサミナー、インタラクター）が最も大きなパフォーマンス向上をもたらし、ナビゲーターのみの状態で1.2%だったスコアが、すべてのモジュールを有効化した際には3.5%に上昇した。
• NAILは全アクションの26%を「検査」コマンドとして実行しており、CARL（8%）、Golovin（2%）、BYUAgent（0.2%）を大きく上回り、オブジェクトの深層的検査の価値を示している。
• 有効性検出器はアクション選択の正確性を顕著に向上させ、不正なアクションの削減と知識グラフの信頼性向上に寄与した。
• アブレーションスタディの結果、エクサミナーまたはインタラクター・モジュールを削除するとパフォーマンスが最も著しく低下し、これらがパズル解決において中心的な役割を果たしていることが確認された。
• 100ステップ/ゲームという制限でも、NAILは平均0.95%の達成率を達成し、Golovin（0.99%）やRandomAgent（1.66%）を上回り、優れたサンプル効率を示した。