[论文解读] Accelerated Training for Massive Classification via Dynamic Class Selection

Xingcheng Zhang, Lei Yang+2 more|arXiv (Cornell University)|Jan 5, 2018

Machine Learning and Algorithms参考文献 20被引用 8

一句话总结

本文提出动态类别选择（DCS）方法，通过使用动态更新的类别层次结构，在每个小批量中识别出一小部分‘活跃类别’，以加速大规模分类任务的训练。该方法在 MS-Celeb-1M 和 Megaface 等大规模基准测试中，将训练时间减少 60%，GPU 显存使用量降低 24%，同时保持与完整 softmax 训练相当的性能。

ABSTRACT

Massive classification, a classification task defined over a vast number of classes (hundreds of thousands or even millions), has become an essential part of many real-world systems, such as face recognition. Existing methods, including the deep networks that achieved remarkable success in recent years, were mostly devised for problems with a moderate number of classes. They would meet with substantial difficulties, e.g. excessive memory demand and computational cost, when applied to massive problems. We present a new method to tackle this problem. This method can efficiently and accurately identify a small number of "active classes" for each mini-batch, based on a set of dynamic class hierarchies constructed on the fly. We also develop an adaptive allocation scheme thereon, which leads to a better tradeoff between performance and cost. On several large-scale benchmarks, our method significantly reduces the training cost and memory demand, while maintaining competitive performance.

研究动机与目标

• 解决训练包含数十万至百万个类别的深度神经网络时产生的高计算与显存开销问题。
• 克服现有方法依赖静态类别频率统计的局限性，这些方法在人脸识别等领域泛化能力较差。
• 开发一种高效且自适应的方法，为每个小批量仅识别出最相关的‘活跃类别’，在不损失准确率的前提下最小化计算量。
• 在大规模分类设置中，实现训练速度、显存使用与模型性能之间的更好权衡。

提出的方法

• 利用类别权重向量在线构建动态类别层次结构，以建模类别之间的语义接近度。
• 采用基于哈希的森林结构，高效近似每个小批量中活跃类别的最优选择。
• 实施一种自适应分配机制，根据训练进度动态调整活跃类别的数量，当性能趋于稳定时降低计算成本。
• 在后台定期更新类别层次结构，以在最小化开销的同时保持准确性。
• 利用仅一小部分类别对梯度有显著贡献的洞察，将计算聚焦于这些类别。
• 将该方法无缝集成到标准深度学习流水线中，除 softmax 层外无需修改网络架构。

实验结果

研究问题

• RQ1 能否通过一种动态、数据驱动的方法，在每个小批量中识别出一小部分活跃类别，使其捕捉到大部分学习信号？
• RQ2 如何在不依赖先验类别频率统计的前提下，实现准确且高效的活跃类别选择？
• RQ3 活跃类别数量和结构更新间隔的变化对训练性能与成本有何影响？
• RQ4 自适应分配机制是否能改善训练过程中的效率-性能权衡？
• RQ5 与最优选择和随机采样相比，所提方法在准确率与速度方面表现如何？

主要发现

• 在具有 75 万个类别的 ResNet-101 模型上，该方法将每次迭代的训练时间从 3.5 秒减少至 1.5 秒，实现 60% 的加速。
• 每张 GPU 的 GPU 显存使用量从 10.8GB 降低至 8.2GB，减少 24%，主要得益于 softmax 层的优化。
• 每次迭代仅选择 1% 的类别时，该方法在 Megaface 基准测试上达到 63.9% 的准确率，接近完整 softmax 基线的 64.7%。
• 所提方法（HF-A）的性能与最优选择相差不足 1%，显著优于随机采样和基于频率的基线方法。
• 该方法在不同数据集（LFW、IJB-A、Megaface）上均表现稳健，持续降低训练成本的同时保持准确率。
• 增加哈希树数量（L）可提升性能，当 L > 100 后趋于饱和；当结构更新间隔 T ∈ [100, 1000] 次迭代时，其影响可忽略不计。