[论文解读] LdSM: Logarithm-depth Streaming Multi-label Decision Trees

Maryam Majzoubi, Anna Choromanska|arXiv (Cornell University)|May 24, 2019

Machine Learning and Data Classification参考文献 30被引用 7

一句话总结

LdSM 提出了一种流式、对数深度的多标签决策树算法，通过优化一种新型目标函数，确保数据划分的平衡性、纯净性和高效性。通过允许多方向示例路由并施加惩罚以防止树的过度生长，LdSM 在基准数据集上实现了最先进（SOTA）的准确率和低推理时间，优于现有的基于树与非基于树的方法，在精确率和 nDCG 分数上表现更优。

ABSTRACT

We consider multi-label classification where the goal is to annotate each data point with the most relevant $ extit{subset}$ of labels from an extremely large label set. Efficient annotation can be achieved with balanced tree predictors, i.e. trees with logarithmic-depth in the label complexity, whose leaves correspond to labels. Designing prediction mechanism with such trees for real data applications is non-trivial as it needs to accommodate sending examples to multiple leaves while at the same time sustain high prediction accuracy. In this paper we develop the LdSM algorithm for the construction and training of multi-label decision trees, where in every node of the tree we optimize a novel objective function that favors balanced splits, maintains high class purity of children nodes, and allows sending examples to multiple directions but with a penalty that prevents tree over-growth. Each node of the tree is trained once the previous node is completed leading to a streaming approach for training. We analyze the proposed objective theoretically and show that minimizing it leads to pure and balanced data splits. Furthermore, we show a boosting theorem that captures its connection to the multi-label classification error. Experimental results on benchmark data sets demonstrate that our approach achieves high prediction accuracy and low prediction time and position LdSM as a competitive tool among existing state-of-the-art approaches.

研究动机与目标

• 为解决在标签集合极大时传统方法（如一对多）变得不可行的高效多标签分类挑战。
• 设计一种对数深度的基于树的预测器，以确保快速预测，同时通过平衡且纯净的划分保持高准确率。
• 开发一种流式训练机制，按顺序训练节点，实现对大规模数据的可扩展性。
• 提出一种新型目标函数，联合优化标签纯净性、平衡划分以及树节点中的多分支路由控制。
• 从理论上证明该目标函数与多标签分类误差的关联性，显示误差单调减少，并具有类似提升（boosting）的收敛保证。

提出的方法

• LdSM 算法构建一个多标签决策树，其中每个节点使用一种新型目标函数，以在特征空间和标签空间中平衡数据划分。
• 该目标函数促进子节点中高类别纯净性，并显式惩罚示例被分配到多个分支，以防止树的过度生长。
• 通过引入平衡项，强制实现平衡划分，确保对数深度和高效预测。
• 该算法以流式方式顺序训练节点，每次仅处理一个节点，待前一个节点完成后才进入下一个。
• 该方法在每个节点使用多个回归器，允许多个子节点接收同一示例，同时通过惩罚项控制路由的多重性。
• 理论分析表明，最小化该目标函数可独立提升纯净性和平衡性，并导致多标签分类中误差的单调减少。

实验结果

研究问题

• RQ1 通过强制实现平衡、纯净且多方向的划分，基于树的多标签分类器是否能实现高准确率和低预测时间？
• RQ2 一种联合优化标签纯净性、平衡性与多分支路由的新型目标函数，是否能带来更好的泛化能力和误差减少？
• RQ3 针对多标签决策树的流式训练方法是否能在保持高性能的同时扩展至大规模标签集合？
• RQ4 所提出的优化目标与多标签分类误差之间存在何种理论联系？是否保证误差单调下降？
• RQ5 在多种基准数据集上，LdSM 与 FastXML、PFastreXML 和 Parabel 等最先进方法相比，在精确率和 nDCG 指标上的表现如何？

主要发现

• 在 Bibtex 数据集上，LdSM 达到最高的 P@1 得分 93.87，优于 FastXML（93.11）和 Parabel（93.03）。
• 在 Wiki10-31k 数据集上，LdSM 的 P@1 为 83.74，N@1 为 83.74，优于 FastXML（83.03 和 83.03）和 PFastreXML（83.57 和 83.57）。
• 在 Delicious-200k 上，LdSM 的 P@1 达到 45.26，优于 FastXML（43.07）和 PFastreXML（41.72），显示出在长尾标签分布上的强大性能。
• 在 Amazon-670k 上，LdSM 的 P@1 为 42.63，显著优于 SLEEC（35.05）和 FastXML（36.99），表明其在极端多标签设置下的鲁棒性。
• 消融实验确认，所提出的优化目标在每次划分时均导致误差单调减少，验证了理论上的提升定理。
• 可视化结果表明，LdSM 在不同树深度和节点数量下均保持高精确率和 nDCG，表明其性能稳定且可扩展。