[论文解读] KATE: K-Competitive Autoencoder for Text

Yu Chen, Mohammed J. Zaki|arXiv (Cornell University)|May 4, 2017

Topic Modeling参考文献 40被引用 19

一句话总结

KATE 是一种 k-竞争性自编码器，通过强制隐藏神经元之间的竞争来增强文本表征学习，其中仅 top-k 神经元激活，并将非激活神经元的能量重新分配。它在文档分类、回归和检索任务中均达到最先进性能，在多个基准测试中优于自编码器、概率主题模型和词嵌入方法。

ABSTRACT

Autoencoders have been successful in learning meaningful representations from image datasets. However, their performance on text datasets has not been widely studied. Traditional autoencoders tend to learn possibly trivial representations of text documents due to their confounding properties such as high-dimensionality, sparsity and power-law word distributions. In this paper, we propose a novel k-competitive autoencoder, called KATE, for text documents. Due to the competition between the neurons in the hidden layer, each neuron becomes specialized in recognizing specific data patterns, and overall the model can learn meaningful representations of textual data. A comprehensive set of experiments show that KATE can learn better representations than traditional autoencoders including denoising, contractive, variational, and k-sparse autoencoders. Our model also outperforms deep generative models, probabilistic topic models, and even word representation models (e.g., Word2Vec) in terms of several downstream tasks such as document classification, regression, and retrieval.

研究动机与目标

• 解决传统自编码器在学习高维、稀疏且符合幂律分布的文本数据中非平凡、有意义表征方面的局限性。
• 克服标准自编码器因数据稀疏性和高维性而倾向于学习平凡或冗余表征的倾向。
• 在自编码器中开发一种竞争学习机制，使神经元专门识别不同的数据模式，从而提升语义表征质量。
• 在多个下游自然语言处理任务中，将 KATE 与自编码器、深度生成模型、主题模型和词嵌入方法进行广泛对比评估。
• 证明浅层、单隐藏层架构结合竞争学习，可在文本表征学习中超越更深或更复杂的模型。

提出的方法

• KATE 在隐藏层中采用 k-竞争机制，仅选择激活值最高的 k 个神经元作为‘胜者’。
• 通过能量放大因子 α，将非胜者（非激活）神经元的总激活潜能重新分配给 k 个胜者神经元。
• 通过修改后的激活函数实现能量重分配，整合来自非激活神经元的放大潜能，增强特征专业化。
• 编码器在 k-竞争层使用 tanh 激活函数，实证表明其性能优于 sigmoid。
• 模型采用权重重用（W' = W^T）作为正则化技术，以减少过拟合并提升泛化能力。
• 推理过程中无需竞争——训练好的模型直接使用固定的、专业化的神经元权重对输入进行编码。

实验结果

研究问题

• RQ1 k-竞争性自编码器能否比标准自编码器学习到更富有意义且语义连贯的文本文档表征？
• RQ2 与非竞争或稀疏自编码器相比，隐藏层中的神经元竞争如何影响学习到的文档表征质量？
• RQ3 在分类和检索等下游 NLP 任务中，KATE 是否优于深度生成模型、概率主题模型和词嵌入方法？
• RQ4 超参数如 k（胜者数量）、主题数（神经元数）和能量放大因子 α 对模型性能有何影响？
• RQ5 浅层自编码器结合竞争学习能否在文本表征学习中实现与更深或更复杂架构相当甚至更优的性能？

主要发现

• 在 20 Newsgroups 数据集上，KATE 在文档分类任务中达到 74.6% 的准确率，显著优于其他自编码器和竞争性模型。
• 在文档检索任务中，KATE 在 20 Newsgroups 数据集上达到 71.1% 的精确率，优于所有其他模型，仅低于 VAE 和 DocNADE。
• 模型性能对激活函数的选择极为敏感：tanh 激活函数达到 74.4% 准确率，而 sigmoid 仅达 56.8%。
• 当主题数超过 128 后，性能提升微乎其微，表明 128 在复杂度与性能之间提供了良好平衡。
• 能量放大参数 α 的影响显著：当 α 从 0.0625 增加到 6.26 时，分类准确率从 71.1% 提升至 74.6%。
• KATE 在 20 Newsgroups 数据集上训练耗时 1,214 秒，快于深度生成模型如 DBN（15,281 秒）和 DocNADE（4,787 秒），但慢于更简单的自编码器。