[论文解读] Improving Medical Short Text Classification with Semantic Expansion Using Word-Cluster Embedding

Ying Shen, Qiang Zhang+4 more|arXiv (Cornell University)|Dec 5, 2018

Topic Modeling参考文献 11被引用 4

一句话总结

本文通过将词聚类嵌入整合到深度神经网络中，提出了一种医学短文本分类的语义扩展方法。通过聚类词向量并利用聚类中心来丰富语义表征，该方法在医学和通用领域短文本上均提升了性能，在TREC和新发布的医学数据集上均优于当前最先进基线模型。

ABSTRACT

Automatic text classification (TC) research can be used for real-world problems such as the classification of in-patient discharge summaries and medical text reports, which is beneficial to make medical documents more understandable to doctors. However, in electronic medical records (EMR), the texts containing sentences are shorter than that in general domain, which leads to the lack of semantic features and the ambiguity of semantic. To tackle this challenge, we propose to add word-cluster embedding to deep neural network for improving short text classification. Concretely, we first use hierarchical agglomerative clustering to cluster the word vectors in the semantic space. Then we calculate the cluster center vector which represents the implicit topic information of words in the cluster. Finally, we expand word vector with cluster center vector, and implement classifiers using CNN and LSTM respectively. To evaluate the performance of our proposed method, we conduct experiments on public data sets TREC and the medical short sentences data sets which is constructed and released by us. The experimental results demonstrate that our proposed method outperforms state-of-the-art baselines in short sentence classification on both medical domain and general domain.

研究动机与目标

• 为解决电子病历（EMR）中短医学文本存在的语义特征有限和歧义性问题。
• 提升深度神经网络分类器在短医学文本分类任务中的性能。
• 开发一种利用聚类级别主题信息增强词表征的语义扩展技术。
• 在通用领域（TREC）和领域特定（医学）短文本数据集上评估该方法。

提出的方法

• 在语义空间中对词向量应用层次聚类算法，将语义相似的词分组。
• 计算每个词聚类的质心（聚类中心），以表征该聚类的隐含主题。
• 通过将单个词向量与其对应的聚类中心向量结合，扩展词向量以丰富语义特征。
• 将扩展后的词向量整合到CNN和LSTM架构中用于文本分类。
• 使用扩展表征端到端训练并微调分类器。
• 在评估中结合新构建的医学短句数据集与公开的TREC数据集。

实验结果

研究问题

• RQ1 通过词聚类嵌入实现的语义扩展能否改善短医学文本的表征？
• RQ2 将聚类级别主题信息整合是否能提升短文本分类性能？
• RQ3 该方法在医学和通用领域短文本分类任务中与当前最先进方法相比表现如何？
• RQ4 该方法在多大程度上缓解了短医学文本中的语义歧义和特征稀疏问题？

主要发现

• 与当前最先进基线相比，该方法在TREC数据集上实现了更优的性能。
• 在新发布的医学短句数据集上，该方法在分类准确率方面显著优于现有方法。
• 聚类中心向量的引入增强了语义丰富性，降低了短医学文本中的歧义性。
• CNN和LSTM模型均从语义扩展中获益，证明了该方法在不同网络架构中的通用性。