[论文解读] A Comparative Study of Word Embeddings for Reading Comprehension

Bhuwan Dhingra, Hanxiao Liu+2 more|arXiv (Cornell University)|Mar 2, 2017

Topic Modeling参考文献 26被引用 30

一句话总结

本论文表明，预训练词嵌入的选择以及测试时对未登录词（OOV）的处理方式，对阅读理解模型性能的影响，大于网络架构设计选择的影响。使用GloVe嵌入并为OOV词分配唯一向量（预训练或随机初始化）可显著提升准确率，尤其在答案词较为罕见的数据集上表现更优。

ABSTRACT

The focus of past machine learning research for Reading Comprehension tasks has been primarily on the design of novel deep learning architectures. Here we show that seemingly minor choices made on (1) the use of pre-trained word embeddings, and (2) the representation of out-of-vocabulary tokens at test time, can turn out to have a larger impact than architectural choices on the final performance. We systematically explore several options for these choices, and provide recommendations to researchers working in this area.

研究动机与目标

• 探究预训练词嵌入对阅读理解模型性能的影响。
• 评估神经阅读理解模型在测试时处理未登录词（OOV）的不同策略。
• 确定当未控制嵌入和OOV处理选择时，架构改进是否具有实际意义。
• 为RC系统中的词向量初始化和OOV词管理提供实证支持的建议。

提出的方法

• 在多样化的阅读理解数据集（如Who-Did-What、Children’s Book Test）上，系统性地比较多种预训练词嵌入（GloVe、word2vec、领域特定嵌入）的表现。
• 使用不同的嵌入初始化策略，训练并评估两种强基线模型——Stanford Attentive Reader 和 Gated Attention Reader。
• 提出并评估三种OOV处理策略：(1) 使用共享向量的标准UNK，(2) 为每个OOV分配唯一随机向量，(3) 当可用时，使用预训练的GloVe向量处理OOV词。
• 通过调整最小频率阈值控制词汇表构建，并在OOV率不同的数据集间比较性能。
• 使用公开可用的模型和超参数，以确保可复现性，并隔离嵌入和OOV选择的影响。
• 分析预训练期间停用词过滤和窗口大小对词向量质量及下游性能的影响。

实验结果

研究问题

• RQ1 不同预训练词嵌入（如GloVe、word2vec、领域特定嵌入）如何影响阅读理解模型的准确率？
• RQ2 使用大规模通用语料库预训练的嵌入是否优于在目标数据集领域内训练的嵌入？
• RQ3 测试时处理OOV词的方法在多大程度上影响模型性能，尤其是在答案词在训练中罕见或未见的情况下？
• RQ4 将所有OOV词统一分配为共享UNK向量的常用做法，是否对阅读理解任务而言并非最优？
• RQ5 在词嵌入预训练过程中进行超参数调优，能否缓解不同嵌入方法之间的性能差距？

主要发现

• 在Wikipedia和Gigaword上预训练的现成GloVe嵌入，在所有测试数据集上均持续优于word2vec以及在目标数据集领域内训练的嵌入。
• 在CBT-NE数据集上，测试时使用预训练GloVe向量处理OOV词，相比使用共享UNK向量，性能最高可提升11%。
• 为测试时的OOV词分配唯一随机向量，相比使用共享UNK向量，结果更优，尤其当测试集中包含大量罕见答案词时。
• 将词汇表限制为仅包含频率≥n（如5–10）的词，并将其余所有词归为UNK的标准做法表现较差，且随着n的增加，性能下降更明显。
• 不同嵌入策略之间的性能差距，大于架构改进所报告的增益，表明嵌入选择是关键超参数。
• 适当的预训练调优——如减少停用词或增大窗口大小——可使自训练嵌入的性能接近预训练GloVe向量的水平。