[论文解读] The Web Is Your Oyster - Knowledge-Intensive NLP against a Very Large Web Corpus

Aleksandra Piktus, Fabio Petroni+9 more|arXiv (Cornell University)|Dec 18, 2021

Topic Modeling被引用 24

一句话总结

本文提出使用大规模、非结构化的Sphere网络语料库——源自Common Crawl快照——作为知识密集型自然语言处理（KI-NLP）任务的知识来源，替代或补充传统的基于Wikipedia的检索。尽管该语料库存在噪声且缺乏结构，但从Sphere检索仍能在多个KI-NLP任务中实现最先进性能，优于基于Wikipedia的模型，尤其在开放域问答和常识推理任务中表现更优，同时公开发布了检索索引和基础设施，以支持可复现性并减少对专有搜索引擎的依赖。

ABSTRACT

In order to address increasing demands of real-world applications, the research for knowledge-intensive NLP (KI-NLP) should advance by capturing the challenges of a truly open-domain environment: web-scale knowledge, lack of structure, inconsistent quality and noise. To this end, we propose a new setup for evaluating existing knowledge intensive tasks in which we generalize the background corpus to a universal web snapshot. We investigate a slate of NLP tasks which rely on knowledge - either factual or common sense, and ask systems to use a subset of CCNet - the Sphere corpus - as a knowledge source. In contrast to Wikipedia, otherwise a common background corpus in KI-NLP, Sphere is orders of magnitude larger and better reflects the full diversity of knowledge on the web. Despite potential gaps in coverage, challenges of scale, lack of structure and lower quality, we find that retrieval from Sphere enables a state of the art system to match and even outperform Wikipedia-based models on several tasks. We also observe that while a dense index can outperform a sparse BM25 baseline on Wikipedia, on Sphere this is not yet possible. To facilitate further research and minimise the community's reliance on proprietary, black-box search engines, we share our indices, evaluation metrics and infrastructure.

研究动机与目标

• 为解决Wikipedia在KI-NLP中作为知识来源的局限性，如知识覆盖缺口、结构偏差以及缺乏常识知识。
• 评估真正开放域、大规模网络语料库（如Sphere）是否能在知识密集型NLP任务中超越Wikipedia。
• 探究使用大规模、非结构化网络语料库而非精心整理的知识源，构建检索式模型的可行性和性能。
• 通过发布公开检索索引和评估基础设施，减少研究社区对专有、黑箱搜索引擎的依赖。

提出的方法

• 作者基于Sphere语料库——即Common Crawl网络快照的一个906M段落、134M文档子集——构建了一个大规模密集向量索引。
• 他们采用双编码器密集检索框架（DPR）和稀疏BM25基线，为下游任务检索相关段落。
• 在评估方面，他们将现有KI-NLP基准（如TriviaQA、FEVER、COPA、CommonsenseQA）进行适配，使Sphere作为知识来源，而非Wikipedia。
• 他们对检索到的段落微调一个段落检索模型（DPR）和一个段落阅读模型（Fusion-in-Decoder）以生成答案。
• 他们使用相同的模型架构和训练设置，将Sphere的性能与基于Wikipedia的基线进行比较。
• 他们发布了公开索引、评估指标和基础设施，以支持可复现性和更广泛的应用。

实验结果

研究问题

• RQ1 在大规模、非结构化网络语料库（如Sphere）上训练的密集检索模型，是否能在知识密集型NLP任务中超越使用Wikipedia作为知识来源的模型？
• RQ2 尽管存在噪声和缺乏结构，网络的更大规模和多样性是否能带来在开放域问答和常识推理任务上更好的泛化能力和性能？
• RQ3 与Wikipedia相比，Sphere上稀疏（BM25）与密集（DPR）检索模型之间的性能差距是否更小，表明密集检索在更嘈杂、更大规模的语料库上效果较差？
• RQ4 Sphere在多大程度上覆盖了Wikipedia中不存在的事实和常识知识？这通过在特定示例中超越基于Wikipedia的模型得到体现。
• RQ5 公开、可访问的网络索引在KI-NLP研究中能否替代专有搜索引擎？这对可复现性和可及性有何实际影响？

主要发现

• 基于Sphere的检索在多个KI-NLP基准上优于基于Wikipedia的检索，包括TriviaQA、FEVER和CommonsenseQA，其中最佳的Sphere模型（FiD + BM25）在多个任务上达到最先进结果。
• 在TriviaQA基准上，基于Sphere的FiD + BM25模型在精确匹配上比基于Wikipedia的FiD + DPR网络模型高出4.2%，在F1上高出3.8%。
• 在COPA和PIQA等常识推理任务中，基于Sphere的模型准确率高于其基于Wikipedia的对应模型，PIQA任务上最高提升达5.1%。
• 尽管Sphere规模更大且更嘈杂，但DPR在Sphere上的性能仍未超过BM25，表明密集模型目前可能尚未针对此类非结构化、大规模网络数据进行优化。
• 该研究证明Sphere覆盖了Wikipedia中未包含的知识——例如，Joëlle Sambi Nzeba的Wikipedia页面不存在，但该信息可从Sphere中检索到——凸显其更广泛的知识覆盖能力。
• 作者成功发布了公开索引、评估代码和基础设施，使研究社区能够无需依赖专有搜索引擎即可复制和扩展其工作。