[论文解读] Contrastive estimation reveals topic posterior information to linear models

Christopher Tosh, Akshay Krishnamurthy+1 more|arXiv (Cornell University)|Mar 4, 2020

Topic Modeling参考文献 25被引用 19

一句话总结

本文表明，在主题建模假设下，对比学习可生成揭示文档表示中潜在主题后验信息的表示。通过使用真实文档作为正样本对，拼接的文档半部分作为负样本对进行训练，该方法使线性分类器能够准确预测主题后验，显著提升了低样本半监督文档分类设置下的性能。

ABSTRACT

Contrastive learning is an approach to representation learning that utilizes naturally occurring similar and dissimilar pairs of data points to find useful embeddings of data. In the context of document classification under topic modeling assumptions, we prove that contrastive learning is capable of recovering a representation of documents that reveals their underlying topic posterior information to linear models. We apply this procedure in a semi-supervised setup and demonstrate empirically that linear classifiers with these representations perform well in document classification tasks with very few training examples.

研究动机与目标

• 探究对比学习是否能够从文档表示中恢复潜在的主题后验信息。
• 评估在线性分类器应用于对比表示时，在低资源半监督学习设置下的有效性。
• 分析模型容量和训练数据规模对主题恢复性能的影响。
• 建立对比学习与主题模型下后验推断之间的理论与实证联系。

提出的方法

• 使用真实文档作为正样本对，混合文档半部分作为负样本对构建对比训练样本对。
• 使用区分正负样本对的损失函数训练对比模型，促使表示空间中正负样本对的分离。
• 采用具有共享权重的双分支神经网络架构，将文档嵌入到潜在空间中。
• 通过从主题模型中采样的1,000个文档，使用基于地标的方法近似生成文档嵌入。
• 利用似然矩阵和学习到的嵌入重建模型基后验，以估计主题分布。
• 在对比表示上训练线性分类器，并在下游主题预测任务上评估性能。

实验结果

研究问题

• RQ1 对比学习是否能够恢复足够多的主题后验信息，使线性模型能够实现准确分类？
• RQ2 模型容量如何影响对比表示中主题恢复的质量？
• RQ3 未标注训练语料库的大小如何影响主题预测的准确性？
• RQ4 对比学习是否能够在极少标注样本的情况下实现有效的半监督文档分类？

主要发现

• 对比表示使线性分类器在主题预测中实现了高准确率，尤其在标注数据稀缺时表现更优。
• 随着狄利克雷先验超参数 α 增大（使主题更加相似），性能下降，但可通过增加模型容量或训练数据规模来缓解。
• 将对比训练集的重采样率从600K提升至600万份文档，可显著提高所有设置下的主题恢复准确率。
• 更大的模型（每层512个神经元）优于较小的模型（每层256个神经元），尤其在较高 α 值下表现更优，表明模型容量可提升表示质量。
• 即使标注数据极少，该方法仍表现出强大性能，证实其在半监督设置中的实用性。
• 随着 α 增大，主题间总变差距离的平均值上升，证实当主题变得越相似时，主题分离的难度也越大。