[论文解读] End-to-End Goal-Driven Web Navigation

Rodrigo Nogueira, Kyunghyun Cho|arXiv (Cornell University)|Feb 6, 2016

Topic Modeling参考文献 15被引用 9

一句话总结

本文提出端到端的目标驱动网页导航作为自然语言理解与序列决策能力评估的基准。作者使用名为WebNav的工具将网站转化为可导航的图结构，构建了基于维基百科的WikiNav以及基于Jeopardy!问题的WikiNav-Jeopardy。在WikiNav上训练的神经智能体在文档召回率方面优于传统搜索引擎，证明该任务作为实际应用（如问答系统和定向爬取）的代理任务具有有效性。

ABSTRACT

We propose a goal-driven web navigation as a benchmark task for evaluating an agent with abilities to understand natural language and plan on partially observed environments. In this challenging task, an agent navigates through a website, which is represented as a graph consisting of web pages as nodes and hyperlinks as directed edges, to find a web page in which a query appears. The agent is required to have sophisticated high-level reasoning based on natural languages and efficient sequential decision-making capability to succeed. We release a software tool, called WebNav, that automatically transforms a website into this goal-driven web navigation task, and as an example, we make WikiNav, a dataset constructed from the English Wikipedia. We extensively evaluate different variants of neural net based artificial agents on WikiNav and observe that the proposed goal-driven web navigation well reflects the advances in models, making it a suitable benchmark for evaluating future progress. Furthermore, we extend the WikiNav with question-answer pairs from Jeopardy! and test the proposed agent based on recurrent neural networks against strong inverted index based search engines. The artificial agents trained on WikiNav outperforms the engined based approaches, demonstrating the capability of the proposed goal-driven navigation as a good proxy for measuring the progress in real-world tasks such as focused crawling and question-answering.

研究动机与目标

• 建立一个大规模、真实的基准，用于评估人工智能智能体在自然语言理解与序列规划方面的能力。
• 解决现有文本游戏的局限性，这些游戏使用词汇量小且缺乏复杂自然语言描述。
• 创建一个可扩展、自动化的框架，将真实网站转化为可导航、目标导向的任务。
• 在该基准上评估基于神经网络的智能体，并与传统搜索引擎进行性能对比。
• 展示所提出任务作为实际应用（如定向爬取和问答系统）代理任务的潜力。

提出的方法

• 该任务将网页导航建模为图结构，其中节点为包含自然语言内容的网页，边为超链接。
• 智能体仅通过局部观察和与状态相关的动作空间，从起始节点导航至目标节点，其中目标查询内容出现。
• WebNav软件工具可自动将网站转换为该基准格式，保留真实世界中的文本和超链接结构。
• 神经智能体（NeuAgents）通过监督学习进行训练，采用具有注意力机制的循环神经网络（LSTM）表示查询。
• 推理阶段，智能体使用束搜索（beam search）探索多条导航路径，以提升目标检测效果。
• 性能通过K值下的文档召回率（Recall@K）进行评估，并与倒排索引和API-based搜索引擎系统进行比较。

实验结果

研究问题

• RQ1 目标驱动的网页导航任务能否作为评估自然语言理解与规划能力智能体的有效基准？
• RQ2 在该任务上训练的基于神经网络的智能体与传统搜索引擎相比，在检索相关网页方面表现如何？
• RQ3 在大规模网页导航数据集上进行预训练，能在多大程度上提升下游任务（如问答系统）的性能？
• RQ4 所提出的基准是否能反映现实世界中的挑战，如部分可观测性和动态动作空间？
• RQ5 在维基百科上训练后，智能体能否对来自Jeopardy!等域外查询实现泛化？

主要发现

• 在WikiNav-16-4上微调的NeuAgent模型在WikiNav-Jeopardy上实现了18.9%的Recall@1，优于所有基于搜索的基线模型。
• NeuAgent在Recall@4上达到23.6%，超过Lucene（14.7%）和Google Search API（22.1%）。
• 即使未进行预训练，NeuAgent在Recall@1上仍达到13.9%，超过SimpleSearch（5.4%）和Lucene（6.3%）。
• 在较低K值下，预训练NeuAgent与搜索引擎之间的性能差距进一步扩大，表明其具有更优的排序准确性。
• 人类参与者的表现不如最佳神经智能体，表明该基准更适合用于评估机器智能而非人类表现。
• 结果证实，目标驱动的网页导航任务是实际应用（如定向爬取和问答系统）的强有力代理任务。