[论文解读] On the Effective Use of Pretraining for Natural Language Inference

Ignacio Cases, Minh-Thang Luong+1 more|arXiv (Cornell University)|Oct 5, 2017

Topic Modeling参考文献 34被引用 7

一句话总结

本文研究了在基于注意力机制的序列到序列模型中，预训练词嵌入（GloVe、word2vec 及其微调版本）在自然语言蕴含（NLI）任务中的有效应用。研究发现，预训练嵌入显著优于随机初始化，正交权重初始化可带来最高达 2.9% 的准确率提升；然而，在复杂 NLI 任务中，利用 WordNet 信息进行微调会损害性能，原因在于组合语义复杂性的影响。

ABSTRACT

Neural networks have excelled at many NLP tasks, but there remain open questions about the performance of pretrained distributed word representations and their interaction with weight initialization and other hyperparameters. We address these questions empirically using attention-based sequence-to-sequence models for natural language inference (NLI). Specifically, we compare three types of embeddings: random, pretrained (GloVe, word2vec), and retrofitted (pretrained plus WordNet information). We show that pretrained embeddings outperform both random and retrofitted ones in a large NLI corpus. Further experiments on more controlled data sets shed light on the contexts for which retrofitted embeddings can be useful. We also explore two principled approaches to initializing the rest of the model parameters, Gaussian and orthogonal, showing that the latter yields gains of up to 2.9% in the NLI task.

研究动机与目标

• 评估预训练词嵌入（GloVe、word2vec）和微调嵌入对自然语言蕴含（NLI）性能的影响。
• 研究权重初始化方案（高斯分布与正交初始化）对 NLI 中模型收敛性和准确率的影响。
• 确定基于 WordNet 的蕴含信息对嵌入进行微调是否能提升或降低 NLI 任务的性能。
• 分析组合语义复杂性（尤其是否定）对不同嵌入类型性能的影响。
• 识别在大规模 SNLI 数据上使用序列到序列模型进行 NLI 时的最优超参数配置。

提出的方法

• 采用基于注意力机制的序列到序列模型架构，对 SNLI 语料库中句子对的蕴含、矛盾或独立关系进行分类。
• 比较三种嵌入类型：随机初始化、预训练（GloVe 和 word2vec）以及微调（预训练嵌入 + WordNet 语义关系）。
• 通过大规模超参数搜索，涵盖学习率、初始化范围、嵌入维度和微调策略，以识别最优配置。
• 采用正交权重初始化，以保持深层网络中的梯度稳定性并改善优化过程。
• 在具有逐步增加的组合复杂性（如 'not not not p'）的合成否定数据集上进行受控实验，以隔离语义结构对嵌入性能的影响。
• 采用梯度裁剪、dropout（0.2）、批量大小为 32，并从第 5 个周期开始以 0.8 的衰减因子应用学习率衰减策略。

实验结果

研究问题

• RQ1 与随机初始化相比，预训练词嵌入（GloVe 或 word2vec）是否能提升 NLI 性能？
• RQ2 在使用预训练嵌入的 NLI 模型中，正交权重初始化是否优于高斯初始化？
• RQ3 将预训练嵌入与基于 WordNet 的蕴含关系进行微调，是否能提升 NLI 准确率，尤其是在复杂句子上？
• RQ4 随着组合语义复杂性（尤其是多层否定）的增加，微调嵌入的性能如何变化？
• RQ5 在何种条件下微调能带来性能提升，而在何种条件下会降低性能？

主要发现

• 在 SNLI 数据集上，预训练嵌入（GloVe 和 word2vec）显著优于随机初始化，其中 GloVe 达到最高准确率。
• 与高斯初始化相比，正交权重初始化可使 NLI 准确率最高提升 2.9 个百分点。
• 尽管整合了基于 WordNet 的蕴含知识，微调嵌入在完整 SNLI 数据集上的性能仍有所下降。
• 在受控的、逐步增加复杂性的否定数据集上，随着否定深度的增加（如 'not not not p'），微调嵌入的性能急剧下降，表明其对组合复杂性高度敏感。
• 微调导致性能下降的原因在于高维空间中存在微小且非均匀的扰动，这些扰动会破坏优化路径，尤其是在复杂语义情境下。
• 尽管微调在复杂 NLI 任务中损害了性能，但其仍优于随机初始化，证实预训练在整体上仍具有显著优势。