[论文解读] HyperMiner: Topic Taxonomy Mining with Hyperbolic Embedding

Yishi Xu, Dongsheng Wang+4 more|arXiv (Cornell University)|Oct 16, 2022

Topic Modeling被引用 11

一句话总结

本文提出 HyperMiner，一种新颖的主题建模框架，利用双曲嵌入以更好地捕捉文本中的层次语义结构。通过用双曲几何替代欧几里得空间，该模型在主题可解释性方面有所提升，并通过双曲对比损失高效注入先验知识，在主题分类体系挖掘和文档表征方面优于现有的嵌入式主题模型。

ABSTRACT

Embedded topic models are able to learn interpretable topics even with large and heavy-tailed vocabularies. However, they generally hold the Euclidean embedding space assumption, leading to a basic limitation in capturing hierarchical relations. To this end, we present a novel framework that introduces hyperbolic embeddings to represent words and topics. With the tree-likeness property of hyperbolic space, the underlying semantic hierarchy among words and topics can be better exploited to mine more interpretable topics. Furthermore, due to the superiority of hyperbolic geometry in representing hierarchical data, tree-structure knowledge can also be naturally injected to guide the learning of a topic hierarchy. Therefore, we further develop a regularization term based on the idea of contrastive learning to inject prior structural knowledge efficiently. Experiments on both topic taxonomy discovery and document representation demonstrate that the proposed framework achieves improved performance against existing embedded topic models.

研究动机与目标

• 解决嵌入式主题模型中欧几里得空间在建模词与主题之间层次语义结构方面的局限性。
• 通过利用双曲空间的树状几何结构，提升主题模型的可解释性。
• 通过双曲对比正则化损失，实现对先验结构知识（例如概念层次）的有效注入，以指导主题学习。
• 开发一种可扩展且高效的框架，在主题分类体系挖掘和文档表征任务中保持高性能。

提出的方法

• 使用庞加莱球模型将词和主题表示为双曲空间中的点，以利用其固有的树状结构。
• 使用双曲距离（庞加莱球中的测地线距离）计算词与主题之间的语义相似度，替代欧几里得内积。
• 引入双曲对比损失，基于先验知识对词和主题嵌入进行正则化，以保持层次关系。
• 在保持概率生成过程的前提下，将嵌入式主题模型（ETM）框架扩展至双曲几何。
• 在双曲空间中采用对比学习策略，对齐相关概念（如上下位词）的嵌入，并将不相关概念的嵌入相互推开。
• 支持基于预定义概念层次的无监督主题分类体系发现与知识引导的主题挖掘（HyperMiner-KG）。

实验结果

研究问题

• RQ1 与欧几里得嵌入相比，双曲嵌入是否能更有效地捕捉词与主题之间的隐含语义层次？
• RQ2 通过双曲几何，能否有效将先验结构知识（如 WordNet 分类体系）注入主题建模？
• RQ3 使用双曲对比损失是否能提升主题分类体系挖掘中的主题可解释性与性能？
• RQ4 HyperMiner 是否能在文档表征与主题质量方面优于现有的嵌入式主题模型？

主要发现

• 与最先进嵌入式主题模型相比，HyperMiner 在主题分类体系挖掘与文档表征任务中均实现了稳定性能提升。
• 该模型成功在双曲空间中保持了先验知识的层次结构：一般性概念位于庞加莱圆盘中心附近，具体概念则靠近边界。
• 由先验概念（如 physical_entity.n.01, substance.n.07）引导的主题内容语义连贯，且在各层次间体现出预期的语义关系。
• 由 round_shape.n.01 引导的主题同时包含与形状相关的术语及语料特定术语（如 files, ftp），表明数据似然与知识正则化共同产生影响。
• 可视化结果表明，词嵌入反映了词汇层次结构：共现频率高的词聚集在中心区域，而具体术语则向边界区域集中。
• 双曲对比损失有效引导了主题学习，使生成的主题更具可解释性且结构上更一致。