[论文解读] Dynamic Integration of Background Knowledge in Neural NLU Systems

Dirk Weissenborn, Tomáš Kočiský+1 more|arXiv (Cornell University)|Jun 8, 2017

Topic Modeling参考文献 28被引用 63

一句话总结

本文提出一个通用的阅读架构，动态将外部背景知识以文本形式纳入，以 refinement word embeddings，提升神经 NLU 在 DQA 和 RTE 任务上的性能。它表明知识驱动的嵌入 refinement 在简单任务模型下也能实现具有竞争力或最先进的结果。

ABSTRACT

Common-sense and background knowledge is required to understand natural language, but in most neural natural language understanding (NLU) systems, this knowledge must be acquired from training corpora during learning, and then it is static at test time. We introduce a new architecture for the dynamic integration of explicit background knowledge in NLU models. A general-purpose reading module reads background knowledge in the form of free-text statements (together with task-specific text inputs) and yields refined word representations to a task-specific NLU architecture that reprocesses the task inputs with these representations. Experiments on document question answering (DQA) and recognizing textual entailment (RTE) demonstrate the effectiveness and flexibility of the approach. Analysis shows that our model learns to exploit knowledge in a semantically appropriate way.

研究动机与目标

• 在 NLU 的静态训练数据之外，凸显纳入背景知识的必要性。
• 提出一个通用模块，读取外部知识（文本）并 refining 词嵌入。
• 证明在 DQA 和 RTE 基准测试上，嵌入 refinement 的有效性。
• 展示该方法在简单任务架构下仍然有效，并带来可解释性方面的收益。

提出的方法

• 引入一个阅读模块，摄取任务输入和外部知识作为自然语言表述，以在多步中 refine 词嵌入。
• 将 refined embeddings E^l 表示为通过 BiLSTM 处理的上下文文本 X^l，对先前嵌入 E^{l-1} 进行更新后的结果，再通过门控更新将先前信息与新信息结合（Equations 2–5）。
• 未 refined 的嵌入 E^0 通过门控融合机制将预训练词向量和字符嵌入结合（Equation 1）。
• 使用启发式排序从 ConceptNet（A）和维基百科摘要（W）检索外部知识；对前 k 条断言进行读取以 refine 嵌入，k 的取值为 RTE 的 k=20，DQA 的 k=50。
• 将外部知识嵌入为自然语言表述，以保持与任意 NLU 架构的兼容性。
• 在 DQA（SQuAD、TriviaQA）和 RTE（SNLI、MultiNLI）数据集上，使用简单的单层 BiLSTM 阅读器（以及 ESIM 基线）进行评估。

实验结果

研究问题

• RQ1 动态、基于文本的背景知识是否能提升神经 NLU，超越静态训练数据？
• RQ2 一个通用的读取模块在简单架构下改进嵌入是否能提升 DQA 与 RTE 任务的性能？
• RQ3 将 ConceptNet 和维基百科文本引入对蕴含与问答性能有何影响？
• RQ4 学习到的模型是否以对蕴含/矛盾具备语义意义的方式利用外部知识（如反事实推理）？

主要发现

Dataset	Model	Exact	F1
TriviaQA Wiki	Ours (BiLSTM + p + q + A + W)	64.6	72.8
TriviaQA Wiki	Baseline (BiLSTM + p + q)	64.0	68.9
TriviaQA Web	Ours (BiLSTM + p + q + A)	67.5	77.6
TriviaQA Web	Baseline (BiLSTM + p + q)	66.4	83.7
SQuAD Dev	Ours (BiLSTM + p + q + A)	69.5	79.7
SQuAD Dev	Baseline (BiLSTM + p + q)	71.6	80.8

• 带有上下文信息的嵌入 refinement 即使在没有外部知识的情况下也能提升性能。
• 引入 ConceptNet 知识进一步提升结果；加入维基百科摘要在 TriviaQA 上带来额外增益。
• 在 TriviaQA 上，完整的 refinement 设置通过简单的 BiLSTM 阅读器实现具有竞争力或最先进的结果。
• 在 RTE 上， refinement 一般有帮助；有 ConceptNet 时，BiLSTM 模型显著提升，而 ESIM 的增益则依数据集而定。
• 定性分析表明模型在蕴含/矛盾方面依赖于语义合理的知识，并在事实被改变时呈现反事实推理。
• 该方法在训练数据有限时仍然有效，凸显外部知识的实用性。