[论文解读] Hierarchical Multiclass Decompositions with Application to Authorship Determination

Ran El‐Yaniv, Noam Etzion-Rosenberg|arXiv (Cornell University)|Oct 11, 2010

Authorship Attribution and Profiling参考文献 20被引用 4

一句话总结

本文提出一种分层多类分解方法，用于多项式分类问题，利用基于 Jensen-Shannon 散度的贝叶斯误差界，指导一种贪心启发式算法，构建统计上‘简单’的二元子问题。在作者身份判定基准上进行评估，该方法在小类别数时优于全对分解方法，在使用 SVM 和高频词对特征时，50 位作者的准确率最高达 91%，100 位作者的准确率为 88%。

ABSTRACT

This paper is mainly concerned with the question of how to decompose multiclass classification problems into binary subproblems. We extend known Jensen-Shannon bounds on the Bayes risk of binary problems to hierarchical multiclass problems and use these bounds to develop a heuristic procedure for constructing hierarchical multiclass decomposition for multinomials. We test our method and compare it to the well known "all-pairs" decomposition. Our tests are performed using a new authorship determination benchmark test of machine learning authors. The new method consistently outperforms the all-pairs decomposition when the number of classes is small and breaks even on larger multiclass problems. Using both methods, the classification accuracy we achieve, using an SVM over a feature set consisting of both high frequency single tokens and high frequency token-pairs, appears to be exceptionally high compared to known results in authorship determination.

研究动机与目标

• 为以统计最优方式将多类分类问题分解为二元子问题提供解决方案。
• 通过引入分层结构，改进现有平面分解方法（如‘一对多’和‘全对’）的性能。
• 开发一种启发式算法，基于贝叶斯误差的信息论界，构建分层分解结构。
• 在一项新的高精度作者身份判定基准上，对方法进行实证评估。

提出的方法

• 使用 Jensen-Shannon 散度推导分层多类分解中贝叶斯误差的上下界。
• 将这些界用作最优性度量，指导贪心启发式算法构建分层二叉树。
• 使用多项分布的最大似然估计来近似潜在的类别概率。
• 采用软置信度评分分类器和路径概率解码方法，选择最可能的叶节点类别。
• 通过前 5000 个单个词元和高频词对构建特征集，以捕捉更高阶的语言统计特性。
• 使用 RBF 核 SVM 和三重交叉验证进行分类，通过交叉验证调整超参数。

实验结果

研究问题

• RQ1 分层多类分解方法在分类准确率方面是否优于平面分解方法（如‘全对’）？
• RQ2 贝叶斯误差的信息论界如何指导有效分层二元子问题的构建？
• RQ3 随着类别数量的增加，所提出方法是否仍能保持高性能？
• RQ4 为何启发式算法生成的最佳分层树始终呈现偏斜结构？这是否反映启发式算法的缺陷，还是模型本身的特征？
• RQ5 与全对方法的 O(k²) 复杂度相比，分层分解在大规模多类问题上的可扩展性如何？

主要发现

• 该分层分解方法在小规模多类问题（k ≤ 20）中始终优于全对方法，准确率更高。
• 对于 50 位作者，分层方法达到 91% 的分类准确率，显著超过作者身份判定领域的典型结果。
• 对于 100 位作者，分层方法达到 88% 的准确率，再次优于已知基准。
• 当类别数较大时（k > 10），分层方法与全对方法之间的性能差距缩小，此后未观察到显著差异。
• 启发式算法生成的最佳分层树始终呈现偏斜结构，表明当前贪心启发式算法可能存在潜在局限性或偏差。