[论文解读] HTCInfoMax: A Global Model for Hierarchical Text Classification via Information Maximization

Zhongfen Deng, Hao Peng+3 more|arXiv (Cornell University)|Apr 12, 2021

Text and Document Classification Technologies参考文献 7被引用 5

一句话总结

HTCInfoMax 提出了一种全局层次化文本分类模型，通过信息最大化增强表示学习，整合了文本-标签互信息最大化与标签先验匹配。通过显式建模相关标签交互并正则化标签表示，其在基准数据集上的性能得到提升，尤其在处理标签不平衡问题时表现更优，优于先前的 SOTA 模型如 HiAGM-LA，并在 RCV1-V2 和 WOS 数据集上达到与 HiAGM-TP 相当的性能。

ABSTRACT

The current state-of-the-art model HiAGM for hierarchical text classification has two limitations. First, it correlates each text sample with all labels in the dataset which contains irrelevant information. Second, it does not consider any statistical constraint on the label representations learned by the structure encoder, while constraints for representation learning are proved to be helpful in previous work. In this paper, we propose HTCInfoMax to address these issues by introducing information maximization which includes two modules: text-label mutual information maximization and label prior matching. The first module can model the interaction between each text sample and its ground truth labels explicitly which filters out irrelevant information. The second one encourages the structure encoder to learn better representations with desired characteristics for all labels which can better handle label imbalance in hierarchical text classification. Experimental results on two benchmark datasets demonstrate the effectiveness of the proposed HTCInfoMax.

研究动机与目标

• 解决 HiAGM-LA 的局限性，后者对所有标签一视同仁，且缺乏对标签表示的统计约束。
• 通过显式建模每个文本与其真实标签之间的交互，利用互信息最大化提升文本表示。
• 通过标签先验匹配强制标签表示具备理想统计特性，缓解层次化文本分类中的标签不平衡问题。
• 构建一个统一框架，同时生成优化后的文本和标签表示，提升在复杂层次结构上的推理与泛化能力。
• 通过在 RCV1-V2 和 WOS 数据集上的大量实验，证明信息最大化在层次化文本分类中的有效性。

提出的方法

• 引入一个文本-标签互信息最大化模块，显式连接每个文本样本与其真实标签，过滤无关的标签信息。
• 应用对比学习以最大化文本特征与其对应标签表示之间的互信息，提升对齐效果与表示质量。
• 实现一个标签先验匹配模块，约束结构编码器学习具备理想统计特性的标签表示，增强对低频标签的泛化能力。
• 将上述两个模块整合进基于 HiAGM-LA 的全局模型架构中，保留文本编码器、结构编码器和预测器组件。
• 采用基于噪声对比估计的方法近似互信息，实现端到端训练并保持可微目标。
• 使用交叉熵损失进行预测，结合两个信息最大化目标，联合优化文本与标签表示，实现端到端训练。

实验结果

研究问题

• RQ1 显式建模文本-标签互信息是否能通过过滤无关标签信息来提升层次化文本分类性能？
• RQ2 通过标签先验匹配对标签表示施加统计约束，是否能增强模型泛化能力，特别是对低频标签？
• RQ3 与现有全局模型如 HiAGM-LA 和 HiAGM-TP 相比，信息最大化在性能与表示质量方面表现如何？
• RQ4 所提方法在多大程度上缓解了层次化文本分类中的标签不平衡问题？
• RQ5 该模型能否生成高质量、独立的文本与标签表示，以支持推理与下游任务？

主要发现

• 在 RCV1-V2 数据集上，HTCInfoMax 的 Mi-F1 达到 83.51，Ma-F1 达到 62.71，优于 HiAGM-LA（Mi-F1: 82.54，Ma-F1: 61.90），并达到与 HiAGM-TP 相当的性能。
• 在 WOS 数据集上，HTCInfoMax 的 Mi-F1 为 85.58，Ma-F1 为 80.05，优于 HiAGM-LA（Mi-F1: 84.82，Ma-F1: 79.51），表现持续提升。
• 消融实验表明，若移除文本-标签互信息最大化模块，RCV1-V2 上 Mi-F1 下降 0.09，Ma-F1 下降 0.92，证明其有效性。
• 若移除标签先验匹配模块，RCV1-V2 上 Ma-F1 下降 2.14 个百分点，WOS 上下降 1.04 个百分点，表明其在缓解标签不平衡方面具有显著影响。
• 使用标签先验匹配时，Ma-F1 的提升幅度大于 Mi-F1，表明其在改善稀有与不平衡标签预测方面尤为有效。
• HTCInfoMax 生成独立且优化后的文本与标签表示，相比将两者合并至单一特征空间的 HiAGM-TP，其在推理与表示学习方面表现更优。