[论文解读] Contextual Lensing of Universal Sentence Representations

Jamie Kiros|arXiv (Cornell University)|Feb 20, 2020

Topic Modeling参考文献 47被引用 5

一句话总结

本文提出上下文透镜（Contextual Lensing），一种通过可学习的'透镜'对上下文嵌入（如 BERT）进行处理，以生成针对特定上下文定制的固定长度向量的框架，从而增强通用句子表示。该方法在多语言句子匹配任务上实现了优异的零样本性能，优于 LASER 在低资源语言上的表现，并且无需平行数据即可捕捉语言家族结构。

ABSTRACT

What makes a universal sentence encoder universal? The notion of a generic encoder of text appears to be at odds with the inherent contextualization and non-permanence of language use in a dynamic world. However, mapping sentences into generic fixed-length vectors for downstream similarity and retrieval tasks has been fruitful, particularly for multilingual applications. How do we manage this dilemma? In this work we propose Contextual Lensing, a methodology for inducing context-oriented universal sentence vectors. We break the construction of universal sentence vectors into a core, variable length, sentence matrix representation equipped with an adaptable `lens' from which fixed-length vectors can be induced as a function of the lens context. We show that it is possible to focus notions of language similarity into a small number of lens parameters given a core universal matrix representation. For example, we demonstrate the ability to encode translation similarity of sentences across several languages into a single weight matrix, even when the core encoder has not seen parallel data.

研究动机与目标

• 解决句子嵌入的'通用性'与语言意义的上下文依赖性之间的张力。
• 实现无需任务特定微调即可适应下游特定上下文的固定长度句子表示。
• 证明少量透镜参数可捕捉复杂语义关系（如跨语言相似性），即使在无平行训练数据的情况下亦可。
• 探索自监督预训练结合上下文感知透镜是否能生成在多种语言和任务上均鲁棒的通用句子向量。

提出的方法

• 该方法将通用句子表示分解为来自上下文编码器（如 BERT 或 mBERT）的核心可变长度矩阵。
• 一个可学习的'透镜'——由上下文参数化的降维算子——将核心矩阵映射为固定长度的向量表示。
• 透镜通过在特定任务（如自然语言推理、翻译排序）上进行监督微调进行训练，透镜参数随任务上下文自适应调整。
• 评估了两种透镜类型：简单线性层（Simple）和门控卷积层（GatedConv），均应用于上下文嵌入的标记表示。
• 该框架支持零样本适应：透镜参数在某一任务（如 NLI）上学习后，可直接应用于另一任务（如翻译匹配）而无需重新训练。
• 模型在多语言句子匹配（Tatoeba）和语言家族聚类（t-SNE 可视化）上进行评估，部分设置中未使用平行数据。

实验结果

研究问题

• RQ1 能否在保持通用性的同时，使固定大小的句子向量表示具有上下文适应性？
• RQ2 少量透镜参数在在多大程度上可编码复杂语义关系（如跨语言相似性）？
• RQ3 在单一任务（如 NLI）上训练透镜是否能实现在无关任务（如多语言句子匹配）上的强零样本性能？
• RQ4 自监督预训练结合上下文感知透镜是否能捕捉高级语言结构（如语言家族），而无需平行数据？

主要发现

• CL(mBERT; NLI) 模型在涵盖 112 种语言的 Tatoeba 数据集上实现了 11.7% 的平均匹配误差，与 LASER 在高资源语言上的 11.5% 相当。
• 在无平行数据的低资源语言上，所提方法优于 LASER，表明带透镜的上下文嵌入在低资源设置下泛化能力更强。
• 语言向量的 t-SNE 可视化显示，即使模型未接触语言家族标签或平行数据，也能清晰按语言家族聚类。
• 使用 CL(mBERT; NLI) 句子嵌入训练的逻辑回归分类器在预测语言身份时达到 23% 准确率，表明透镜减少了语言特异性偏差，同时保留了结构分离性。
• Simple 透镜（单个权重矩阵）的性能几乎与更复杂的 GatedConv 透镜相当，表明极简参数化已足以实现有效的上下文聚焦。
• 在包含 1 亿平行样本的翻译排序任务上训练的模型（CL(mBERT; 100M)）实现了 10.2% 的平均匹配误差，优于 LASER 在某些语言家族上的表现，证明了该方法的可扩展性。