[论文解读] Deep Representation Learning for Clustering of Health Tweets

Oguzhan Gencoglu|arXiv (Cornell University)|Dec 25, 2018

Topic Modeling参考文献 57被引用 4

一句话总结

本文提出使用深度卷积自编码器（CAEs）对健康相关推文进行无监督表示学习，相比传统的袋模型、tf-idf、LDA和NMF等方法，实现了更优的聚类性能。该方法在Calinski-Harabasz评分上达到当前最优结果，较次优基线方法提升18%，并通过在学习表示上施加L2-范数约束进一步提升了性能。

ABSTRACT

Twitter has been a prominent social media platform for mining population-level health data and accurate clustering of health-related tweets into topics is important for extracting relevant health insights. In this work, we propose deep convolutional autoencoders for learning compact representations of health-related tweets, further to be employed in clustering. We compare our method to several conventional tweet representation methods including bag-of-words, term frequency-inverse document frequency, Latent Dirichlet Allocation and Non-negative Matrix Factorization with 3 different clustering algorithms. Our results show that the clustering performance using proposed representation learning scheme significantly outperforms that of conventional methods for all experiments of different number of clusters. In addition, we propose a constraint on the learned representations during the neural network training in order to further enhance the clustering performance. All in all, this study introduces utilization of deep neural network-based architectures, i.e., deep convolutional autoencoders, for learning informative representations of health-related tweets.

研究动机与目标

• 解决在无标签数据条件下对短文本、动态的健康相关推文进行无监督聚类的挑战。
• 通过使用深度神经网络从原始推文文本中学习紧凑且信息丰富的表示，以提升聚类性能。
• 评估深度表示学习在健康推文聚类任务中相对于传统特征提取技术的有效性。
• 探究对学习表示施加L2-范数约束对聚类质量的提升作用。

提出的方法

• 采用深度卷积自编码器（CAEs）以无监督方式学习原始健康相关推文的低维紧凑表示。
• 在训练过程中施加L2-范数约束，以正则化潜在表示并提升聚类可分性。
• 将学习到的表示作为输入，应用于三种聚类算法：k-means、Ward链接法和谱聚类。
• 与传统方法进行对比：袋模型、tf-idf、LDA、NMF以及预训练词嵌入（word2vec、GloVe、fastText）。
• 使用Calinski-Harabasz（CH）评分评估聚类质量，该评分是一种归一化的内部聚类指标。
• 使用t-SNE和UMAP可视化学习到的表示，以评估聚类可分性以及L2约束的影响。

实验结果

研究问题

• RQ1 与传统特征提取方法相比，深度卷积自编码器能否学习到更有效、更紧凑的健康相关推文表示以用于聚类？
• RQ2 对学习表示施加L2-范数约束后，对不同聚类算法的聚类性能有何影响？
• RQ3 预训练词嵌入（如fastText、BERT）相对于传统特征提取方法和深度自编码器的相对性能如何？
• RQ4 尽管维度较高，为何原始tf-idf或拼接的词嵌入表示会表现不佳？
• RQ5 主题建模方法（LDA、NMF）在短文本推文聚类任务中的泛化能力如何？

主要发现

• 所提出的带L2-范数约束的深度卷积自编码器在50个聚类下的Calinski-Harabasz评分达到752.4，显著优于次优方法（LDA+tf-idf的638分）。
• L2-范数约束的CAE在所有三种聚类算法中均提升了性能，尤其在依赖L2距离的k-means聚类中提升最为显著。
• fastText词嵌入表现优于word2vec和GloVe，因其通过字符n-gram能够处理OOV（未登录词）问题，减少了药物名称表示中的零向量问题。
• 原始tf-idf和袋模型特征表现较差，而将词嵌入拼接为高维向量则因维度灾难导致性能下降。
• 主题模型（LDA和NMF）表现欠佳，原因在于推文长度过短，限制了主题推断的统计稳健性。
• t-SNE和UMAP可视化结果表明，L2约束的CAE生成的聚类更具可分性且边界更清晰，优于无约束训练的结果。