[论文解读] Bidirectional Attention Flow for Machine Comprehension

Min Joon Seo, Aniruddha Kembhavi+2 more|arXiv (Cornell University)|Nov 5, 2016

Topic Modeling被引用 1,291

一句话总结

BiDAF 介绍了一个多阶段、无记忆、双向注意力流网络，在不进行早期上下文摘要的情况下建模查询与上下文之间的交互，在 SQuAD 和 CNN/DailyMail 填空任务上达到了最前沿的结果。

ABSTRACT

Machine comprehension (MC), answering a query about a given context paragraph, requires modeling complex interactions between the context and the query. Recently, attention mechanisms have been successfully extended to MC. Typically these methods use attention to focus on a small portion of the context and summarize it with a fixed-size vector, couple attentions temporally, and/or often form a uni-directional attention. In this paper we introduce the Bi-Directional Attention Flow (BIDAF) network, a multi-stage hierarchical process that represents the context at different levels of granularity and uses bi-directional attention flow mechanism to obtain a query-aware context representation without early summarization. Our experimental evaluations show that our model achieves the state-of-the-art results in Stanford Question Answering Dataset (SQuAD) and CNN/DailyMail cloze test.

研究动机与目标

• 通过更好地建模问题与上下文之间的互动来激发并提升机器理解。
• 避免将上下文早期总结为固定大小的向量，以保留信息流。
• 提出一个无记忆、双向的注意力机制，可以流向分层架构。
• 将字符、单词和上下文嵌入与多层建模堆栈结合起来，以预测答案跨度。

提出的方法

• 使用字符级 CNN 和预训练的词嵌入，随后是两层 Highway 网络。
• 分别对上下文和查询应用带上下文的双向 LSTM 进行编码。
• 通过建立上下文和查询之间的共用相似性矩阵来计算 Bi-Directional Attention Flow。
• 将注意力派生的向量输入到建模层（bi-LSTM），而不是折叠成固定向量。
• 使用用于问答的起始/结束跨度预测机制，通过真实起始/结束索引的负对数似然进行训练。
• 使用 SQuAD（EM 和 F1）以及 CNN/DailyMail 的完形填空任务进行评估。

实验结果

研究问题

• RQ1 双向、无记忆的查询与上下文之间的注意力是否能比单向或动态注意力机制提升机器理解？
• RQ2 在随后的建模层中保持令牌级注意力流是否能保留信息并提高答案定位？
• RQ3 多阶段嵌入（字符、单词、上下文）如何提升问答性能？
• RQ4 对 C2Q 与 Q2C 注意力以及注意力流与动态注意力的消融实验有什么影响？

主要发现

模型	EM (单一模型)	F1 (单一模型)	EM (集成)	F1 (集成)
Logistic Regression Baseline	40.4	51.0	-	-
Dynamic Chunk Reader	62.5	71.0	-	-
Fine-Grained Gating	62.5	73.3	-	-
Match-LSTM	64.7	73.7	67.9	77.0
Multi-Perspective Matching	65.5	75.1	68.2	77.2
Dynamic Coattention Networks	66.2	75.9	71.6	80.4
R-Net	68.4	77.5	72.1	79.7
BiDAF (Ours)	68.0	77.3	73.3	81.1

• BiDAF 在 SQuAD 测试集的单模型与集成配置下均达到最先进结果（EM 与 F1 指标）。
• 在 SQuAD 上，BiDAF 单模型：EM 68.0 和 F1 77.3；集成：EM 73.3 和 F1 81.1。
• BiDAF 在 CNN/DailyMail 完形填空也取得较强结果，优于之前的单模型方法，并达到/超越部分集成方法（CNN/DailyMail 验证集/测试）。
• 消融研究显示去掉 C2Q 或 Q2C 注意力会降低性能；带单独注意力和建模层的无记忆（静态）注意力优于动态注意力。
• 字符和词嵌入都对性能有贡献；上下文嵌入提升了查询词的对齐。
• 可视化和错误分析表明模型学习到合理的查询-上下文对齐以及答案跨度的位置。