[论文解读] Decoding Decoders: Finding Optimal Representation Spaces for Unsupervised Similarity Tasks

В. К. Железняк, Dan Busbridge+3 more|arXiv (Cornell University)|Feb 12, 2018

Topic Modeling被引用 5

一句话总结

本文提出了一个最优表征空间的概念，其中语义相似的符号在模型目标函数诱导的相似性度量下被映射得彼此接近。该文提出了一种简单且无需微调的流程，将深度循环模型与该空间对齐，使其在无监督相似性任务上表现可与浅层模型媲美甚至超越，且在新型句子嵌入模型上得到了实证验证。

ABSTRACT

Experimental evidence indicates that simple models outperform complex deep networks on many unsupervised similarity tasks. We provide a simple yet rigorous explanation for this behaviour by introducing the concept of an optimal representation space, in which semantically close symbols are mapped to representations that are close under a similarity measure induced by the model's objective function. In addition, we present a straightforward procedure that, without any retraining or architectural modifications, allows deep recurrent models to perform equally well (and sometimes better) when compared to shallow models. To validate our analysis, we conduct a set of consistent empirical evaluations and introduce several new sentence embedding models in the process. Even though this work is presented within the context of natural language processing, the insights are readily applicable to other domains that rely on distributed representations for transfer tasks.

研究动机与目标

• 解释为何简单模型在无监督相似性任务上常优于复杂深度网络。
• 定义并形式化与模型目标函数对齐的最优表征空间概念。
• 开发一种方法，使深度循环模型在无需微调或架构修改的情况下，实现与浅层模型相当或更优的性能。
• 通过在多个句子嵌入模型上的一致性实证评估，验证所提出的框架。

提出的方法

• 引入最优表征空间的概念，通过模型目标函数诱导的相似性度量来保持语义相似性。
• 直接从模型目标函数定义一种相似性度量，以指导表征学习。
• 提出一种仅使用目标函数诱导度量的流程，将深度模型的表征重新映射到最优空间。
• 在不改变架构或微调的情况下，将该流程应用于深度循环模型，使其与最优空间对齐。
• 使用新引入的句子嵌入模型，在无监督相似性基准上评估性能。

实验结果

研究问题

• RQ1 为何尽管具备强大容量，简单模型在无监督相似性任务上仍优于深度网络？
• RQ2 什么定义了与模型目标函数对齐的最优表征空间？
• RQ3 能否在不进行微调或架构修改的情况下，使深度模型达到与浅层模型相当的性能？
• RQ4 将表征映射到最优空间对不同相似性任务的性能有何影响？

主要发现

• 简单模型在无监督相似性任务上优于深度网络，原因在于其与目标函数定义的最优表征空间对齐。
• 所提出的流程使深度循环模型在无需微调的情况下，可在无监督相似性任务上达到或超越浅层模型的性能。
• 将表征映射到最优空间可显著提升相似性性能，即使使用预训练的深度模型亦然。
• 该框架具有通用性，可推广至自然语言处理之外的领域，适用于任何依赖分布式表征进行迁移任务的场景。