[論文レビュー] WebNav: A New Large-Scale Task for Natural Language based Sequential Decision Making.

Rodrigo Nogueira, Kyunghyun Cho|arXiv (Cornell University)|Feb 6, 2016

Topic Modeling参考文献 16被引用数 10

ひとこと要約

この論文では、目的志向のウェブナビゲーションにおける自然言語ベースの逐次的意思決定エージェントの評価を目的とした大規模ベンチマークであるWebNavを紹介する。ウェブサイトをグラフ構造の環境に変換し、エージェントが自然言語クエリを使ってナビゲートする。WikiNav—500万件のウィキペディア記事と1200万件のクエリを含む—を用いてニューラルエージェントの学習と評価が行われ、人間と機械の両者にとって顕著な課題が明らかになった。

ABSTRACT

We propose a goal-driven web navigation as a benchmark task for evaluating an agent with abilities to understand natural language and plan on partially observed environments. In this challenging task, an agent navigates through a web site, which is represented as a graph consisting of web pages as nodes and hyperlinks as directed edges, to find a web page in which a query appears. The agent is required to have sophisticated high-level reasoning based on natural languages and efficient sequential decision making capability to succeed. We release a software tool, called WebNav, that automatically transforms a website into this goal-driven web navigation task, and as an example, we make WikiNav, a dataset constructed from the English Wikipedia containing approximately 5 million articles and more than 12 million queries for training. We evaluate two different agents based on neural networks on the WikiNav and provide the human performance. Our results show the difficulty of the task for both humans and machines. With this benchmark, we expect faster progress in developing artificial agents with natural language understanding and planning skills.

研究の動機と目的

• エージェントが自然言語を理解し、部分観測環境下で逐次的意思決定を行う能力を評価するベンチマークタスクを開発すること。
• 実際のウェブサイトを構造化されたナビゲーションタスクに変換するスケーラブルなフレームワークを構築すること。
• 英語ウィキペディアから派生した500万件の記事と1200万件のクエリを含む大規模データセットであるWikiNavをリリースすること。
• ニューラルネットワークベースのエージェントのパフォーマンスを評価し、人間のパフォーマンスと比較すること。
• ウェブナビゲーションにおいて自然言語理解と長時間計画を統合する難しさを浮き彫りにすること。

提案手法

• ウェブページをノードとし、ハイパーリンクを有向エッジとするグラフ構造の環境にウェブサイトを変換する。
• 各ナビゲーションタスクを、指定された自然言語クエリが出現するウェブページを見つけるという目的として表現する。
• WebNavと呼ばれるソフトウェアツールを用いて、任意のウェブサイトからページとリンクを抽出し、自動的にナビゲーションタスクを生成する。
• WebNavを英語ウィキペディアに適用することで、500万件の記事と1200万件を超えるクエリを含むデータセットであるWikiNavを構築する。
• このデータセットを用いて、部分観測下での逐次的意思決定に注力したニューラルエージェントの学習と評価を行う。
• 機械エージェントと人間のパフォーマンスをベンチマーク化し、タスクの難易度を評価する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルエージェントは、自然言語に根ざした大規模で目的志向のウェブナビゲーションタスクでどの程度のパフォーマンスを発揮できるか？
• RQ2 自然言語クエリを用いた複雑なウェブ構造のナビゲーションにおいて、人間ユーザーと機械エージェントの間にはどの程度のパフォーマンス格差が生じるか？
• RQ3 ウェブグラフの複雑さと部分観測性が、逐次的意思決定エージェントにどの程度の挑戦をもたらすか？
• RQ4 WebNavフレームワークは、大規模なウェブナビゲーションベンチマークの自動作成にどの程度効果的か？
• RQ5 ウェブナビゲーションにおいて自然言語理解と長時間計画を統合するにあたり、どのような主な課題が存在するか？

主な発見

• WebNavベンチマークは、目的志向のウェブナビゲーションが極めて困難であることを示しており、人間参加者に対しても高いパフォーマンスの基準を提示している。
• WikiNavで学習したニューラルエージェントは限定的な成功を示しており、現在のモデルが自然言語に根ざした長時間にわたるマルチステップナビゲーションに苦戦していることが明らかになった。
• このタスクは人間と機械の両者にとって依然として挑戦的であり、推論と計画の分野におけるさらなる進歩が求められる。
• 500万件の記事と1200万件を超えるクエリを含むWikiNavデータセットは、エージェントの学習と評価に適した大規模で現実的な環境を提供する。
• WebNavツールは、ウェブサイトを構造化されたナビゲーションタスクに自動変換可能であり、スケーラブルなベンチマーク作成を可能にする。
• 人間のパフォーマンスは非自明ではあるが、依然として現在のニューラルエージェントを大きく上回っており、推論と計画能力の格差が浮き彫りになっている。