[论文解读] Bayesian Network Based Label Correlation Analysis For Multi-label Classifier Chain

Ran Wang, Suhe Ye+2 more|arXiv (Cornell University)|Aug 6, 2019

Text and Document Classification Technologies参考文献 45被引用 4

一句话总结

本文提出BNCC，一种基于贝叶斯网络的方法，用于在多标签学习中建模标签相关性，以提升分类器链（CC）的性能。通过使用条件熵量化标签依赖关系，构建一种新型评分函数的贝叶斯网络，并利用拓扑排序推导标签顺序，BNCC在时间复杂度低于ECC等集成方法的前提下，实现了具有竞争力的性能。

ABSTRACT

Classifier chain (CC) is a multi-label learning approach that constructs a sequence of binary classifiers according to a label order. Each classifier in the sequence is responsible for predicting the relevance of one label. When training the classifier for a label, proceeding labels will be taken as extended features. If the extended features are highly correlated to the label, the performance will be improved, otherwise, the performance will not be influenced or even degraded. How to discover label correlation and determine the label order is critical for CC approach. This paper employs Bayesian network (BN) to model the label correlations and proposes a new BN-based CC method (BNCC). First, conditional entropy is used to describe the dependency relations among labels. Then, a BN is built up by taking nodes as labels and weights of edges as their dependency relations. A new scoring function is proposed to evaluate a BN structure, and a heuristic algorithm is introduced to optimize the BN. At last, by applying topological sorting on the nodes of the optimized BN, the label order for constructing CC model is derived. Experimental comparisons demonstrate the feasibility and effectiveness of the proposed method.

研究动机与目标

• 为解决分类器链（CC）方法中确定最优标签顺序这一关键挑战，该顺序显著影响性能。
• 使用概率图模型捕捉条件依赖关系，对复杂标签相关性（包括正相关与负相关）进行建模。
• 开发一种可扩展且高效的算法，在不增加训练或推理时间复杂度的前提下提升CC性能。
• 基于标签相关性分析，提出一种数据驱动的、结构优化的标签排序策略，替代随机或启发式标签序列。
• 证明所提方法在多标签基准数据集上的准确率与效率方面均优于现有方法。

提出的方法

• 使用条件熵量化在其他标签存在时某一标签的不确定性，作为标签间依赖关系的度量。
• 构建贝叶斯网络（BN），其中节点表示标签，边权重表示由条件熵推导出的依赖强度。
• 提出一种新型评分函数以评估BN结构，偏好更能捕捉标签相关性模式的结构。
• 采用启发式算法优化BN结构，在模型复杂度与相关性保真度之间取得平衡。
• 对优化后的BN应用拓扑排序，推导出一种确定性的、依赖感知的标签顺序，用于构建分类器链。
• 将所得标签顺序集成至CC框架中，使每个分类器使用前面的标签作为扩展特征，以提升预测准确率。

Figure 1: Directed network composed of five labels.

实验结果

研究问题

• RQ1 贝叶斯网络能否有效建模多标签学习问题中复杂的、有向的标签相关性？
• RQ2 基于BN学习到的依赖关系，数据驱动的标签排序策略是否优于随机或启发式顺序，从而提升分类器链性能？
• RQ3 所提出的BNCC方法能否在保持低时间复杂度的同时，实现优于最先进多标签学习方法的性能？
• RQ4 在准确率与计算效率方面，BNCC与基于集成的CC方法（如ECC）相比表现如何？
• RQ5 所提出的评分函数与启发式算法是否能有效学习到反映真实标签依赖关系的有意义BN结构？

主要发现

• 在多个基准数据集上，BNCC在Hamming Loss、Fscore与Micro-F1方面均显著优于BR、CC、GCC与CLR。
• 在准确率与效率方面，BNCC优于ECC，且在训练与测试阶段的时间复杂度均显著更低。
• 配对Wilcoxon符号秩检验显示，BNCC在Fscore与Micro-F1方面均显著优于所有对比方法，p值<0.05。
• 尽管BNCC在Macro-F1方面与ECC无显著差异，但其计算成本大幅降低，性能相当。
• 所提出的评分函数与启发式算法成功学习到反映真实标签依赖关系的BN结构，从而实现有效的标签排序。
• 实证结果证实，通过BN-based排序引入标签相关性可提升CC性能，且不增加时间复杂度。

(a) Positive relationship between Rural - Village or Rural-Paddy