[論文レビュー] End-to-End Goal-Driven Web Navigation

Rodrigo Nogueira, Kyunghyun Cho|arXiv (Cornell University)|Feb 6, 2016

Topic Modeling参考文献 15被引用数 9

ひとこと要約

本論文では、自然言語理解と逐次意思決定におけるエージェントの評価のためのベンチマークとして、エンドツーエンドの目的志向型ウェブナビゲーションを紹介する。著者らは、WebNavと呼ばれるツールを用いてウェブサイトをナビゲーション可能なグラフに変換し、WikipediaからWikiNavを作成し、Jeopardy!の質問を用いたWikiNav-Jeopardyを構築した。WikiNavで訓練されたニューラルエージェントは、文書のリcall性能において従来の検索エンジンを上回り、このタスクが質問応答や焦点を当てたクローリングといった実世界の応用分野の代替指標として有効であることを示している。

ABSTRACT

We propose a goal-driven web navigation as a benchmark task for evaluating an agent with abilities to understand natural language and plan on partially observed environments. In this challenging task, an agent navigates through a website, which is represented as a graph consisting of web pages as nodes and hyperlinks as directed edges, to find a web page in which a query appears. The agent is required to have sophisticated high-level reasoning based on natural languages and efficient sequential decision-making capability to succeed. We release a software tool, called WebNav, that automatically transforms a website into this goal-driven web navigation task, and as an example, we make WikiNav, a dataset constructed from the English Wikipedia. We extensively evaluate different variants of neural net based artificial agents on WikiNav and observe that the proposed goal-driven web navigation well reflects the advances in models, making it a suitable benchmark for evaluating future progress. Furthermore, we extend the WikiNav with question-answer pairs from Jeopardy! and test the proposed agent based on recurrent neural networks against strong inverted index based search engines. The artificial agents trained on WikiNav outperforms the engined based approaches, demonstrating the capability of the proposed goal-driven navigation as a good proxy for measuring the progress in real-world tasks such as focused crawling and question-answering.

研究の動機と目的

• 人工エージェントの自然言語理解と逐次計画能力を評価するための大規模かつ現実的なベンチマークを確立すること。
• 従来のテキストベースのゲームには、小規模な語彙と複雑な自然言語記述の欠如といった限界があることに対処すること。
• 実際のウェブサイトをナビゲーション可能で目的志向のタスクに変換するスケーラブルで自動化されたフレームワークを構築すること。
• このベンチマーク上でニューラルネットワークベースのエージェントの性能を評価し、従来の検索エンジンと比較すること。
• 提案されたタスクが、焦点を当てたクローリングや質問応答といった実用的応用分野の代替指標としての可能性を示すこと。

提案手法

• タスクは、ノードが自然言語コンテンツを有するウェブページで、エッジがハイパーリンクであるグラフとしてウェブナビゲーションをモデル化する。
• エージェントは、与えられたクエリが表示されるターゲットノードまで、ローカル観測と状態依存の行動空間のみを用いてナビゲートする。
• WebNavソフトウェアツールは、ウェブサイトをこのベンチマーク形式に自動変換し、現実世界のテキストとハイパーリンク構造を保持する。
• ニューラルエージェント（NeuAgents）は、クエリ表現のためのアテンション機構を備えた再帰的ニューラルネットワーク（LSTM）を用いて教師あり学習で訓練される。
• 推論時にはビームサーチを用いて複数のナビゲーション経路を探索し、ターゲット検出の精度を向上させる。
• 性能評価には、インverted-indexおよびAPIベースの検索システムと比較する文書リcall率（Recall@K）が用いられる。

実験結果

リサーチクエスチョン

• RQ1 目的志向型ウェブナビゲーションタスクは、自然言語理解と計画におけるエージェントの評価のための妥当なベンチマークとして機能するか？
• RQ2 このタスクで訓練されたニューラルネットワークベースのエージェントは、関連するウェブページの検索において、従来の検索エンジンと比べてどのように優れているか？
• RQ3 大規模なウェブナビゲーションデータセットで事前学習することで、質問応答などの下流タスクでの性能はどの程度向上するか？
• RQ4 提案されたベンチマークは、部分観測可能性や動的行動空間といった実世界の課題を反映しているか？
• RQ5 Wikipediaで訓練されたエージェントは、Jeopardy!のクエリのようなドメイン外のクエリに対しても一般化可能か？

主な発見

• WikiNav-16-4で微調整されたNeuAgentモデルは、WikiNav-JeopardyでRecall@1が18.9%を達成し、すべての検索ベースのベースラインを上回った。
• NeuAgentはRecall@4で23.6%を達成し、Lucene（14.7%）とGoogle Search API（22.1%）を上回った。
• 事前学習を行わずとも、NeuAgentはRecall@1で13.9%を達成し、SimpleSearch（5.4%）とLucene（6.3%）を上回った。
• K値が低いほど、事前学習済みNeuAgentと検索エンジンとの性能差が広がり、より優れたランク付け精度を示した。
• 人間の参加者は最良のニューラルエージェントよりも成績が悪く、ベンチマークが人間のパフォーマンスの評価よりも機械知能の評価に適していることを示唆した。
• 結果から、目的志向型ウェブナビゲーションタスクが焦点を当てたクローリングや質問応答といった実世界の応用分野の強力な代替指標であることが確認された。