[论文解读] Online Boosting Algorithms for Multi-label Ranking

Young Hun Jung, Ambuj Tewari|arXiv (Cornell University)|Oct 23, 2017

Text and Document Classification Technologies被引用 5

一句话总结

本文提出了两种用于多标签排序的在线提升算法（OnlineBMR 和 Ada.OLMR），通过聚合多样化的弱学习器（二元、单标签或多标签）构建强排序模型。该研究建立了理论损失界，其中 OnlineBMR 在已知边缘假设下达到最优，而 Ada.OLMR 通过自适应加权实现实际性能优越，在排名损失上优于批量基线方法，且具有良好的可扩展性。

ABSTRACT

We consider the multi-label ranking approach to multi-label learning. Boosting is a natural method for multi-label ranking as it aggregates weak predictions through majority votes, which can be directly used as scores to produce a ranking of the labels. We design online boosting algorithms with provable loss bounds for multi-label ranking. We show that our first algorithm is optimal in terms of the number of learners required to attain a desired accuracy, but it requires knowledge of the edge of the weak learners. We also design an adaptive algorithm that does not require this knowledge and is hence more practical. Experimental results on real data sets demonstrate that our algorithms are at least as good as existing batch boosting algorithms.

研究动机与目标

• 开发专用于多标签排序（MLR）的在线提升算法，其中多个标签可能相关，且预测结果需按顺序排列。
• 将在线提升理论从单标签和二元设置扩展至一般弱预测形式的多标签场景。
• 在已知边缘假设下设计最优算法（OnlineBMR），并提出一种自适应替代方案（Ada.OLMR），以应对实际场景中边缘未知或任意的情况。
• 使用排名损失作为主要指标，在真实世界多标签数据集上评估算法相对于批量提升基线的性能。

提出的方法

• 采用通用弱预测格式：每个弱学习器输出标签上的分布，从而支持二元、单标签和多标签预测的融合。
• 采用代价矩阵框架实现提升器与弱学习器之间的通信，支持动态损失指定和参数更新。
• 设计 OnlineBMR，基于已知边缘值固定权重，在正边缘假设下实现紧致的理论损失界。
• 开发 Ada.OLMR，采用自适应加权机制，动态调整以匹配弱学习器的实际表现，即使部分学习器具有负边缘或未知边缘也能实现提升。
• 应用铰链损失将弱学习器（如 VFDT）的概率输出转换为用于排序的得分向量。
• 采用随机特征子采样（每棵树使用 20 个特征）以降低弱学习器之间的相关性，提升泛化能力。

实验结果

研究问题

• RQ1 能否有效将在线提升扩展至使用通用弱预测格式的多标签排序任务？
• RQ2 当弱学习器的边缘（相对于随机猜测的性能）已知时，如何最优地组合它们以实现在线 MLR？
• RQ3 如何使在线提升具备自适应能力，以处理边缘任意或未知的弱学习器？
• RQ4 在线提升算法能否在多标签排序任务中实现与批量方法相当的性能？
• RQ5 在在线 MLR 提升中，理论最优性与实际效率之间存在怎样的计算与统计权衡？

主要发现

• 在已知正边缘假设下，OnlineBMR 实现了紧致的理论损失界，证明其在所需弱学习器数量上达到最优。
• 尽管理论损失界非最优，Ada.OLMR 在排名性能上与 OnlineBMR 及批量提升基线方法相当。
• 在 emotions 数据集上，Ada.OLMR 的平均排名损失为 0.1600，优于批量基线的 0.1699。
• 在 scene 数据集上，Ada.OLMR 的排名损失为 0.0743，略优于批量基线的 0.0720。
• 在 yeast 数据集上，Ada.OLMR 的排名损失为 0.1836，与批量基线的 0.1820 相当。
• OnlineBMR 的运行时间随标签数量增长而显著恶化；在一周内无法在完整 mediamill 数据集上运行，因此需采用 m-缩减版本。