[论文解读] Deconvolutional Latent-Variable Model for Text Sequence Matching

Dinghan Shen, Yizhe Zhang+3 more|arXiv (Cornell University)|Sep 21, 2017

Topic Modeling被引用 33

一句话总结

该论文提出了一种用于文本序列匹配的去卷积潜在变量模型（DeConv-LVM），采用去卷积网络作为序列解码器，以在不依赖循环结构的情况下学习更具信息量和判别性的句子表征。该模型在半监督文本匹配任务中取得了最先进性能，通过联合生成与判别学习有效利用未标注数据，在训练速度更快、参数更少的情况下超越了基于LSTM的基线模型。

ABSTRACT

A latent-variable model is introduced for text matching, inferring sentence representations by jointly optimizing generative and discriminative objectives. To alleviate typical optimization challenges in latent-variable models for text, we employ deconvolutional networks as the sequence decoder (generator), providing learned latent codes with more semantic information and better generalization. Our model, trained in an unsupervised manner, yields stronger empirical predictive performance than a decoder based on Long Short-Term Memory (LSTM), with less parameters and considerably faster training. Further, we apply it to text sequence-matching problems. The proposed model significantly outperforms several strong sentence-encoding baselines, especially in the semi-supervised setting.

研究动机与目标

• 为解决在标注数据有限的情况下学习稳健、判别性句子表征的挑战，特别是针对文本序列匹配任务。
• 克服潜在变量模型在文本任务中常见的优化困难，例如注意力机制崩溃和自回归解码器中的暴露偏差问题。
• 通过用去卷积网络替代LSTM解码器，降低对序列自回归生成的依赖，从而提升泛化能力和表征质量。
• 通过联合优化生成与判别目标，在半监督设置中实现未标注数据的有效利用。
• 在保持或提升性能的同时，相比基于LSTM的变分自编码器，实现更快的训练速度和更少的参数量。

提出的方法

• 该模型采用变分自编码器框架，使用深度神经网络编码器从输入句子中推断潜在代码。
• 采用去卷积网络作为解码器（生成器），在训练过程中无需真实词输入即可从采样的潜在代码重建输入句子。
• 模型联合优化变分下界（重建损失）和序列对的判别性匹配损失。
• 去卷积解码器避免了循环结构，减少了暴露偏差，并增强了对潜在代码的有效利用。
• 该框架在未标注数据上进行无监督预训练，并在少量标注数据下进行半监督微调。
• 词嵌入使用预训练的GloVe向量初始化，编码器采用卷积神经网络实现以提升效率和性能。

实验结果

研究问题

• RQ1 与LSTM等循环解码器相比，去卷积解码器是否能提升潜在句子表征的信息量和判别能力？
• RQ2 所提出的潜在变量模型是否能有效利用半监督文本匹配任务中的未标注数据？
• RQ3 该模型是否能在参数更少、训练更快的前提下，超越强基线模型如LSTM-AE和LSTM-LVM？
• RQ4 该模型在下游任务（如语义相似性匹配和句子对蕴含识别）中的表现如何？
• RQ5 解码器中完全去除自回归生成机制在多大程度上减少了暴露偏差并提升了潜在代码的利用率？

主要发现

• 在Quora问题对数据集上，DeConv-LVM在25,000个标注样本下达到73.7%的准确率，优于LSTM-LVM（72.4%）和DeConv-AE（71.6%），证明其对未标注数据的利用更优。
• 在SNLI数据集上，使用28,000个标注样本时，DeConv-LVM显著优于LSTM-LVM和DeConv-AE，显示出在低资源设置下的更强泛化能力。
• 由于去卷积层具有可并行化特性，该模型训练速度更快，参数量更少，优于基于LSTM的替代方案。
• 当标注数据稀缺时，DeConv-LVM与基线模型之间的性能差距最大，证实其在半监督学习中的有效性。
• 去卷积解码器生成的潜在代码比LSTM解码器更具信息量，这一点在无监督风格分类和下游匹配任务中表现更优。
• 随着标注数据增加，模型性能持续提升，但未标注数据带来的相对增益依然显著，尤其在低数据场景下。