[论文解读] Hyperbolic Interaction Model For Hierarchical Multi-Label Classification

Boli Chen, Xin Huang+3 more|arXiv (Cornell University)|May 26, 2019

Text and Document Classification Technologies参考文献 45被引用 9

一句话总结

本文提出了一种新型的双曲交互模型（Hyperbolic Interaction Model, HyperIM），用于层次化多标签文本分类，通过在双曲空间中联合嵌入词与标签来保持层次结构。通过利用双曲空间的树状几何特性，HyperIM 改进了标签感知的文档表征学习，并在基准数据集上实现了最先进（SOTA）的性能，优于欧几里得基线方法和现有方法。

ABSTRACT

Different from the traditional classification tasks which assume mutual exclusion of labels, hierarchical multi-label classification (HMLC) aims to assign multiple labels to every instance with the labels organized under hierarchical relations. Besides the labels, since linguistic ontologies are intrinsic hierarchies, the conceptual relations between words can also form hierarchical structures. Thus it can be a challenge to learn mappings from word hierarchies to label hierarchies. We propose to model the word and label hierarchies by embedding them jointly in the hyperbolic space. The main reason is that the tree-likeness of the hyperbolic space matches the complexity of symbolic data with hierarchical structures. A new Hyperbolic Interaction Model (HyperIM) is designed to learn the label-aware document representations and make predictions for HMLC. Extensive experiments are conducted on three benchmark datasets. The results have demonstrated that the new model can realistically capture the complex data structures and further improve the performance for HMLC comparing with the state-of-the-art methods. To facilitate future research, our code is publicly available.

研究动机与目标

• 为解决在多标签文本分类中建模复杂层次化标签结构的挑战。
• 通过利用双曲空间固有的树状几何特性，提升层次化多标签分类（HMLC）的性能。
• 通过在双曲空间中进行联合嵌入，显式建模词与标签之间的语义关联。
• 通过部分交互和负采样，降低大规模标签空间中的计算成本。
• 通过消融实验与实证评估，证明双曲空间在 HMLC 中相对于欧几里得空间的优越性。

提出的方法

• HyperIM 在双曲空间的庞加莱球模型中联合嵌入文档词与标签，以保持层次关系。
• 利用双曲空间中的莫比乌斯加法与测地线距离，计算词与标签之间的语义相似度。
• 通过在嵌入向量上应用得分函数，聚合词-标签相似度，构建标签感知的文档表征。
• 通过部分交互与负采样策略，提升大规模标签集合下的可扩展性。
• 采用黎曼自适应优化方法，在双曲空间中训练模型参数，并通过双曲度量对梯度进行重缩放。
• 通过最小化真实标签与预测标签概率向量之间的交叉熵损失，完成预测。

实验结果

研究问题

• RQ1 与欧几里得空间相比，双曲空间是否能更好地表示多标签文本分类中的层次化标签结构？
• RQ2 在双曲空间中联合嵌入词与标签是否能提升标签感知的文档表征学习？
• RQ3 所提出的 HyperIM 模型是否能在层次化多标签分类基准上实现最先进性能？
• RQ4 部分交互与负采样在大规模标签空间中的使用，如何影响可扩展性与性能？
• RQ5 通过双曲几何保持层次结构在 HMLC 中在尾部标签上的误差减少程度如何？

主要发现

• HyperIM 在三个基准 HMLC 数据集上实现了最先进性能，在所有评估指标上均优于现有方法。
• 消融实验确认，双曲空间显著优于欧几里得空间，尤其在捕捉层次化标签相关性方面表现突出。
• 可视化结果表明，双曲嵌入能清晰保留层次路径，而欧几里得嵌入则表现出交叉路径，导致标签关系模糊。
• 由于双曲几何提供的更好结构归纳偏差，模型能有效从罕见的尾部标签中学习。
• 负采样与部分交互策略在不损失性能的前提下，降低了内存占用并提升了训练效率。
• 在双曲空间中进行词-标签联合嵌入，使得文档与标签之间的语义相似度测量更加准确且可解释。