[论文解读] Improving Sentence Representations with Multi-view Frameworks

Shuai Tang, Virginia R. de|arXiv (Cornell University)|Sep 27, 2018

Topic Modeling参考文献 52被引用 5

一句话总结

本文提出两种多视角框架，通过将循环神经网络（RNN）和线性模型作为互补视角，结合生成式或判别式目标，实现无监督句子表征学习。与单视角模型相比，该框架通过视角集成，显著提升了下游任务中的表征质量和迁移能力。

ABSTRACT

Multi-view learning can provide self-supervision when different views are available of the same data. Distributional hypothesis provides another form of useful self-supervision from adjacent sentences which are plentiful in large unlabelled corpora. Motivated by the asymmetry in the two hemispheres of the human brain as well as the observation that different learning architectures tend to emphasise different aspects of sentence meaning, we present two multi-view frameworks for learning sentence representations in an unsupervised fashion. One framework uses a generative objective and the other a discriminative one. In both frameworks, the final representation is an ensemble of two views, in which, one view encodes the input sentence with a Recurrent Neural Network (RNN), and the other view encodes it with a simple linear model. We show that, after learning, the vectors produced by our multi-view frameworks provide improved representations over their single-view learnt counterparts, and the combination of different views gives representational improvement over each view and demonstrates solid transferability on standard downstream tasks.

研究动机与目标

• 为解决单视角句子表征模型的局限性，通过利用互补的学习视角。
• 利用大规模无标注语料库中多视角数据与句向分布上下文的自监督信号。
• 通过受大脑半球功能特化的启发，采用网络架构非对称性，提升句子表征质量。
• 开发无监督框架，使其在下游迁移学习任务中优于单视角基线模型。

提出的方法

• 该框架采用两种不同视角：一种使用循环神经网络（RNN）对输入句子进行编码，另一种使用简单线性模型。
• 一种框架采用生成式目标，从联合视角表征中重建输入句子。
• 另一种框架采用判别式目标，以区分真实句子对与损坏的句子对。
• 最终的句子表征由两种视角的集成构成，融合其互补优势。
• 自监督信号同时来源于多视角结构与分布假设，利用大规模语料库中相邻句子的上下文信息。
• 模型以端到端方式无监督训练，无需标注数据。

实验结果

研究问题

• RQ1 将RNN与线性模型作为互补视角结合，是否能在无监督设置下提升句子表征质量？
• RQ2 同时使用生成式与判别式目标，是否能增强学习表征的鲁棒性与表达能力？
• RQ3 两种不同视角的集成与单视角模型相比，在下游迁移性能上表现如何？
• RQ4 多视角框架在多大程度上利用了句向分布上下文以提升表征学习效果？

主要发现

• 多视角框架生成的句子表征在表征质量上优于其单视角基线模型。
• 两种视角的集成性能优于任一视角单独使用，验证了互补学习的优势。
• 所提出的框架在无监督预训练后，于标准下游NLP任务中展现出强大的迁移能力。
• 同时采用生成式与判别式目标，有助于学习到更鲁棒、更具信息量的句子表征。