[论文解读] A Multiplicative Model for Learning Distributed Text-Based Attribute Representations

Ryan Kiros, Richard S. Zemel+1 more|arXiv (Cornell University)|Jun 10, 2014

Topic Modeling参考文献 26被引用 38

一句话总结

本文提出了一种基于乘法张量的模型，通过属性门控的词原型建模条件词相似性，联合学习分布式词嵌入和属性表征（例如，句子、语言、作者元数据）。该方法在情感分类、跨语言文档分类和作者归属任务中实现了性能提升，定性结果表明属性条件化的词邻域和文本生成能够反映语义与风格差异。

ABSTRACT

In this paper we propose a general framework for learning distributed representations of attributes: characteristics of text whose representations can be jointly learned with word embeddings. Attributes can correspond to document indicators (to learn sentence vectors), language indicators (to learn distributed language representations), meta-data and side information (such as the age, gender and industry of a blogger) or representations of authors. We describe a third-order model where word context and attribute vectors interact multiplicatively to predict the next word in a sequence. This leads to the notion of conditional word similarity: how meanings of words change when conditioned on different attributes. We perform several experimental tasks including sentiment classification, cross-lingual document classification, and blog authorship attribution. We also qualitatively evaluate conditional word neighbours and attribute-conditioned text generation.

研究动机与目标

• 开发一种通用框架，用于学习文本属性（如句子上下文、语言、作者元数据和文档特征）的分布式表征。
• 通过词上下文、属性向量与词嵌入之间的三阶乘法交互，建模词义在不同属性下的变化。
• 通过学习属性特定的词原型组合，实现条件词相似性与属性条件化的文本生成。
• 在情感分类、跨语言文档分类和作者归属等定量任务上评估该模型。
• 定性分析属性条件化如何改变词邻域结构，并支持风格化文本生成。

提出的方法

• 该模型以对数双线性神经语言模型为基础，通过由属性表征加权的原型向量线性组合构成的词嵌入张量进行扩展。
• 属性向量作为门控单元，通过三阶张量公式中的乘法交互动态调整词嵌入。
• 模型通过随机梯度下降进行端到端训练，共享优化词嵌入、属性向量和上下文矩阵。
• 属性向量通过独立的查找表学习，并在训练过程中与词特征和模型参数联合优化。
• 通过计算不同属性条件下词嵌入之间的余弦相似度，实现条件词相似性。
• 通过从模型的下一个词分布中采样，实现基于上下文和属性向量的条件化文本生成。

实验结果

研究问题

• RQ1 与词嵌入联合学习的属性向量是否能提升下游NLP任务（如情感分类和作者归属）的性能？
• RQ2 属性条件化的词嵌入在语义邻域结构上与标准词嵌入有何不同？
• RQ3 该模型在多大程度上能生成反映风格或语义差异的文本，具体取决于属性条件？
• RQ4 在推理阶段推断属性向量是否能在属性信息缺失时提升性能？
• RQ5 该模型能否学习到有意义且解耦的属性表征，如作者人口统计特征或语言？

主要发现

• 该模型在情感分类、跨语言文档分类和博客作者归属任务中均表现出强劲性能，证明了联合学习属性与词表征的有效性。
• 条件词相似性分析显示，'joy'一词在宗教作者属性下与'joy'和'god'相关，而在科学作者属性下则与'delight'和'comfort'相关，证实了语义的属性依赖性。
• 在推理阶段推断属性向量带来了稳定但较小的性能增益，表明模型对缺失属性信息具有鲁棒性。
• 对生成文本的定性分析表明，基于特定书籍的属性向量条件化可生成具有明显写作风格（如正式或非正式语气）的文本，准确反映源文本特征。
• 学习到的属性向量的t-SNE可视化显示，青少年博主无论性别或主题如何，均被聚类在一起，表明模型成功学习到了有意义的人口统计区分。
• 语言条件化的词邻域包括直接翻译（如'war' → 'guerre'在法语中）和语义相近的词，表明模型捕捉到了跨语言的语义结构。