[论文解读] Efficient Loss-Based Decoding on Graphs For Extreme Classification

Itay Evron, Edward Moroshko+1 more|arXiv (Cornell University)|Mar 8, 2018

Machine Learning and Algorithms参考文献 31被引用 4

一句话总结

本文提出 Wide-LTLS，一种用于极端多分类的新型基于图的解码框架，可在实现对数时间与空间复杂度的同时，支持基于损失的解码以提升准确率。通过将对数时间对数空间（LTLS）框架推广至网格图结构，该方法在准确率、模型大小与推理速度之间提供了可调节的权衡，相较于先前方法在大规模标签集上的效率与预测性能均表现更优。

ABSTRACT

In extreme classification problems, learning algorithms are required to map instances to labels from an extremely large label set. We build on a recent extreme classification framework with logarithmic time and space, and on a general approach for error correcting output coding (ECOC) with loss-based decoding, and introduce a flexible and efficient approach accompanied by theoretical bounds. Our framework employs output codes induced by graphs, for which we show how to perform efficient loss-based decoding to potentially improve accuracy. In addition, our framework offers a tradeoff between accuracy, model size and prediction time. We show how to find the sweet spot of this tradeoff using only the training data. Our experimental study demonstrates the validity of our assumptions and claims, and shows that our method is competitive with state-of-the-art algorithms.

研究动机与目标

• 为解决传统多分类方法在处理极大规模标签集（K >> 10^4）时的可扩展性限制。
• 通过利用纠错输出码（ECOC）实现基于损失的解码，克服现有对数时间对数空间（LTLS）框架在准确率上的局限。
• 在极端分类场景中，实现预测准确率、模型大小与推理时间之间的灵活权衡。
• 开发一种在保持对数时间与空间复杂度的同时，利用通用图结构实现高效且准确解码的方法。

提出的方法

• 将类别表示为网格图结构中的路径，将 LTLS 中使用的二叉树推广为更富表达性与灵活性的编码表示。
• 采用纠错输出码（ECOC）结合基于损失的解码，利用 Allwein 等（2001）的理论边界，提升对二分类器错误的鲁棒性。
• 采用基于损失的解码策略，在二分类器预测结果上最小化通用基于间隔的损失函数，而非依赖汉明距离或硬解码。
• 从网格图构建编码矩阵，以诱导非均匀、可能不平衡的子问题，从而提升可学习性，并通过事后剪枝实现稀疏性。
• 设计一种解码算法，通过利用图的分层结构，在 O(log K) 时间与空间内完成，避免在推理过程中显式存储完整编码矩阵。
• 提出一种仅使用训练数据即可调节准确率、模型大小与推理时间之间权衡的方法，通过选择最优图拓扑结构与剪枝策略实现。

实验结果

研究问题

• RQ1 能否在不牺牲计算效率的前提下，将基于损失的解码高效集成到对数时间、对数空间的极端分类框架中？
• RQ2 与二叉树相比，使用网格图在多大程度上提升了基于 ECOC 的极端分类的准确率与灵活性？
• RQ3 能否通过基于图的编码结构，实现对模型大小、推理时间与预测准确率之间权衡的可控与优化？
• RQ4 所提出的方法是否在保持对数时间与空间复杂度的同时，相比现有对数时间方法（如 LTLS）实现了更高的准确率？

主要发现

• 所提出的 Wide-LTLS 框架在训练与推理过程中均实现了 O(log K) 的时间与空间复杂度，效率与 LTLS 相当，同时支持基于损失的解码。
• 通过使用网格图，该方法在准确率上优于标准 LTLS，原因在于其支持更具表达力的编码表示，并通过基于损失的解码更好地处理分类器错误。
• 该框架支持对准确率、模型大小与推理时间之间权衡的可调配置，最优配置可通过仅使用训练数据找到。
• 实证结果表明，Wide-LTLS 在准确率方面与当前最先进的极端分类算法具有竞争力，同时保持了对数复杂度。
• 该方法通过事后剪枝学习到的权重实现稀疏性，进一步减小模型大小与推理成本，且准确率损失可忽略不计。
• 理论分析证实，该方法将 LTLS 作为特例进行推广，并为基于图的 ECOC 提供了更广泛且具备更强纠错能力的框架。