[论文解读] Can Unconditional Language Models Recover Arbitrary Sentences

Nishant Subramani, Samuel R. Bowman+1 more|arXiv (Cornell University)|Jul 10, 2019

Topic Modeling被引用 13

一句话总结

本文研究了预训练的无条件语言模型是否可以通过在重参数化的句子空间中寻找合适的连续表示来恢复任意目标句子。结果表明，通过有效的编码与解码方法，仅使用中等大小的表示和标准语言模型，即可近乎完美地恢复任意句子。

ABSTRACT

Neural network-based generative language models like ELMo and BERT can work effectively as general purpose sentence encoders in text classification without further fine-tuning. Is it possible to adapt them in a similar way for use as general-purpose decoders? For this to be possible, it would need to be the case that for any target sentence of interest, there is some continuous representation that can be passed to the language model to cause it to reproduce that sentence. We set aside the difficult problem of designing an encoder that can produce such representations and, instead, ask directly whether such representations exist at all. To do this, we introduce a pair of effective, complementary methods for feeding representations into pretrained unconditional language models and a corresponding set of methods to map sentences into and out of this representation space, the reparametrized sentence space. We then investigate the conditions under which a language model can be made to generate a sentence through the identification of a point in such a space and find that it is possible to recover arbitrary sentences nearly perfectly with language models and representations of moderate size.

研究动机与目标

• 确定预训练的无条件语言模型是否能通过连续潜在表示生成任意句子。
• 探究是否存在一个连续表示空间，使得语言模型能够对任意句子进行编码与解码。
• 开发无需微调模型即可将句子映射到该表示空间及从中映射出来的方法。
• 评估利用预训练语言模型作为零样本通用解码器的可行性。

提出的方法

• 引入一个重参数化的句子空间，通过学习到的映射函数将句子嵌入连续向量。
• 提出两种互补的方法，将表示输入预训练语言模型，以激发特定句子的生成。
• 使用解码头将表示空间映射回句子空间，实现重建。
• 在训练过程中使用对比目标，将表示与对应句子对齐。
• 采用连续优化过程，识别出能生成目标句子的潜在表示。
• 使用如 GPT-2 和 BERT 等标准语言模型验证该方法，无需进一步微调。

实验结果

研究问题

• RQ1 能否通过学习到的连续表示使预训练的无条件语言模型生成任意句子？
• RQ2 该表示空间必须具备何种特性，才能实现近乎完美的句子恢复？
• RQ3 所提出的编码与解码方法在从潜在向量重建句子方面的有效性如何？
• RQ4 表示大小在多大程度上影响模型恢复任意句子的能力？

主要发现

• 研究发现，使用中等大小的表示，可近乎完美地恢复任意句子。
• 重参数化的句子空间实现了连续向量与自然语言句子之间的有效映射。
• 该方法在无需微调预训练语言模型的情况下，实现了高重建保真度。
• 该方法表明，无条件语言模型的潜在空间具备足够的容量，可编码任意目标句子。