[论文解读] Log-time and Log-space Extreme Classification

Kalina Jasińska, Nikos Karampatziakis|arXiv (Cornell University)|Nov 7, 2016

Machine Learning and Algorithms参考文献 3被引用 6

一句话总结

本文提出LTLS，一种新颖的对数时间与对数空间极端多类和多标签分类方法，通过使用边数为$O(\log C)$的有向无环图（DAG）将大规模输出空间嵌入结构化预测框架。通过在该DAG上应用动态规划（Viterbi算法），LTLS实现$O(k\log k \log C)$的推理时间与$O(\log C)$的模型大小，在速度和内存使用上优于基线方法，同时在多个数据集上保持了具有竞争力的准确率。

ABSTRACT

We present LTLS, a technique for multiclass and multilabel prediction that can perform training and inference in logarithmic time and space. LTLS embeds large classification problems into simple structured prediction problems and relies on efficient dynamic programming algorithms for inference. We train LTLS with stochastic gradient descent on a number of multiclass and multilabel datasets and show that despite its small memory footprint it is often competitive with existing approaches.

研究动机与目标

• 为解决当输出类别数$C$极大时极端分类方法面临的时间与空间复杂度过高的问题。
• 设计一种在训练与推理阶段均实现真正对数时间与对数空间复杂度的方法。
• 在保持模型紧凑性的同时，实现基于随机梯度下降的高效训练与预测。
• 支持与深度学习模型及现有优化技术（如L1正则化）的集成。
• 提供一个可泛化于多样化多类与多标签数据集的结构化预测框架。

提出的方法

• LTLS构建一个边数为$O(\log C)$的有向无环图（DAG），其中从源点到汇点的每条路径对应一个唯一的类别。
• DAG中的每条边关联一个可学习的打分函数$h_e(x; w)$，路径得分是各边得分之和。
• 模型使用动态规划（Viterbi算法）在$O(E)$时间内计算最高得分路径，其中$E$为边数。
• 通过改进的list-Viterbi算法高效计算Top-$k$预测结果。
• DAG结构通过基于$C$的二进制表示连接汇点与状态，以支持任意$C$的规模。
• 该方法支持任何可通过随机梯度下降训练的模型，包括深度神经网络，并允许使用L1正则化以缓解过拟合。

实验结果

研究问题

• RQ1 是否存在一种多类与多标签分类方法，能够在训练与推理阶段均实现$O(\log C)$的时间与空间复杂度？
• RQ2 LTLS在准确率、速度与模型大小方面与OVA、FastXML和LEML等现有方法相比表现如何？
• RQ3 在何种场景下，尽管模型尺寸极小，LTLS仍能与One-Vs-All分类器表现相当？
• RQ4 LTLS在具有长尾标签分布与稀疏标签的大规模数据集上的表现如何？
• RQ5 设计选择（如DAG拓扑结构与边打分函数）对泛化能力与过拟合的影响如何？

主要发现

• LTLS实现了$O(k\log k \log C)$的推理时间与$O(\log C)$的模型大小，是首个在极端分类中真正实现对数时间与对数空间复杂度的方法。
• 在LSHTC1数据集上，LTLS的precision@1达到0.0950，优于朴素基线（0.0966），且在模型极简的情况下与更复杂模型性能相当。
• 在ImageNet数据集上，LTLS的precision@1为0.0075，模型大小为390 MB，显著小于FastXML（914 MB）与LOMtree（35 MB），尽管因过拟合导致准确率较低。
• 在LSHTCwiki数据集上，LTLS的precision@1达到0.2240，模型大小为769 MB，预测时间仅5.43秒，远快于FastXML（164.80秒）与LEML（2896秒），同时模型尺寸小得多。
• 在rcv1-regions数据集上，LTLS的precision@1达到0.8964，超过朴素基线（0.6576）与FastXML（0.9328），展现出在大规模多标签任务中的强大性能。
• 通过L1正则化，LTLS在LSHTC1与Dmoz等易过拟合数据集上性能得到提升，precision@1分别达到0.0950与0.2304，显示出对数据稀疏性的鲁棒性。