[论文解读] Logarithmic Time One-Against-Some

Hal Daumé, Nikos Karampatziakis+2 more|arXiv (Cornell University)|Jun 15, 2016

Machine Learning and Algorithms参考文献 13被引用 13

一句话总结

本文提出 Recall Tree，一种新颖的在线多分类归约方法，通过使用动态构建的树结构，将候选类别数量缩减至 O(log K) 的小集合，从而在类别数量上实现对数时间复杂度。该方法结合了一对多预测与树结构、路由函数及类别分类器的联合优化，实现了与一对多（OAA）相当的性能，同时在类别数 K 较大时实现了指数级加速，且仅带来两倍的内存开销。

ABSTRACT

We create a new online reduction of multiclass classification to binary classification for which training and prediction time scale logarithmically with the number of classes. Compared to previous approaches, we obtain substantially better statistical performance for two reasons: First, we prove a tighter and more complete boosting theorem, and second we translate the results more directly into an algorithm. We show that several simple techniques give rise to an algorithm that can compete with one-against-all in both space and predictive power while offering exponential improvements in speed when the number of classes is large.

研究动机与目标

• 为解决当类别数 K 极大时，高效多分类的挑战。
• 开发一种方法，在显著降低计算成本的同时，保持与当前黄金标准一对多（OAA）相当的预测准确率。
• 实现 K 的对数时间复杂度的在线学习，支持实时与可扩展的学习系统。
• 相比先前基于树的方法，降低内存使用量，使其成为 OAA 的实用即插即用替代方案。
• 以端到端、在线方式，联合优化树结构、路由函数与最终分类器。

提出的方法

• 该算法使用动态构建的树结构，递归地将候选类别缩小至 O(log K) 的集合，从而减少所需类别得分的数量。
• 在每个内部节点，一个二分类器（路由器）决定路径走向，路由决策由经验召回界引导，以最大化候选集覆盖范围。
• 最终预测通过在叶节点的候选类别上进行一对多（OAS）评分完成，使用每个类别的分类器。
• 树结构与分类器以在线方式联合训练，实现端到端优化，且内存开销极低。
• 在推理过程中，向样本添加路径特征，编码遍历路径，以提升最终预测的精度。
• 通过更紧致的理论分析，包括一种新型的提升风格边界，支持该算法的性能保证。

实验结果

研究问题

• RQ1 基于树的多分类器是否能同时实现对数时间复杂度与与一对多方法相当的预测准确率？
• RQ2 在极端多分类问题中，如何在在线设置下联合优化树结构、路由函数与最终分类器？
• RQ3 路径特征与每个叶节点的多个分类器在候选集选择过程中，能在多大程度上提升性能？
• RQ4 使用经验 Bernstein 界进行正则化，是否能显著提升小样本场景下的泛化能力？
• RQ5 一种仅增加两倍内存开销的方法，是否能在保持与 OAA 准确率相当的前提下，实现显著更快的推理速度？

主要发现

• 在 ALOI 数据集上，Recall Tree 的预测性能优于 OAA，尽管 OAA 因向量化而更快。
• 在包含约 10^5 个类别的 ODP 数据集上，OAA 的训练时间与 Recall Tree 在单核上的时间相当，但 Recall Tree 的推理速度提升了 300 倍。
• 在 LTCB 数据集上，使用乘数为 1 的经验 Bernstein 界，将测试误差从 91% 降低至 78%，证明了正则化的显著优势。
• 添加路径特征与每个叶节点的多个分类器显著提升了性能，所有差异均具有统计显著性（p < 0.0001），仅在候选集大小为 2 时除外。
• 在 ALOI 数据集上，该算法将超平面评估次数减少了 50%（50 vs. 1000），同时保持了具有竞争力的准确率，显示出在 K 较大时的强渐近优势。
• Recall Tree 在准确率与内存效率方面均优于 LOMTree，内存使用量最高减少至 1/64，同时保持了更优的预测性能。