[论文解读] Large-Scale Learning with Less RAM via Randomization

Daniel Golovin, D. Sculley+2 more|arXiv (Cornell University)|Mar 19, 2013

Advanced Bandit Algorithms Research参考文献 26被引用 11

一句话总结

本文提出使用随机舍入和概率计数方法，以减少大规模在线学习中的内存占用，在训练过程中将RAM使用量降低50%以上，预测时最高可降低95%，且精度损失极小。该方法在保持接近精确方法的遗憾边界的同时，实现了高效的低精度表示，并通过8位随机计数器实现了自适应的坐标级学习率。

ABSTRACT

We reduce the memory footprint of popular large-scale online learning methods by projecting our weight vector onto a coarse discrete set using randomized rounding. Compared to standard 32-bit float encodings, this reduces RAM usage by more than 50% during training and by up to 95% when making predictions from a fixed model, with almost no loss in accuracy. We also show that randomized counting can be used to implement per-coordinate learning rates, improving model quality with little additional RAM. We prove these memory-saving methods achieve regret guarantees similar to their exact variants. Empirical evaluation confirms excellent performance, dominating standard approaches across memory versus accuracy tradeoffs.

研究动机与目标

• 减少大规模在线学习系统中的内存占用，特别是针对高维权重向量的模型。
• 实现在RAM受限系统（包括单机和GPU）上的高效训练与推理。
• 在大幅降低权重存储和坐标级学习率追踪的精度要求的同时，保持模型精度。
• 为低精度、随机化的学习算法提供理论遗憾保证。

提出的方法

• 使用随机舍入将权重向量投影到粗粒度离散网格上，将32位浮点存储降低至16位或更低精度。
• 采用Morris随机计数算法的变体，仅用每位特征8位表示坐标级学习率。
• 对系数采用固定或自适应的粗粒度网格表示，该方案下的遗憾边界已推导出理论结果。
• 在预测时引入可变宽度编码，实验中实现每系数少于2位的存储。
• 使用无偏随机舍入确保期望值保持不变，从而最小化训练过程中的误差累积。
• 利用集中不等式（如Azuma–Hoeffding）控制因舍入导致的预测误差。

实验结果

研究问题

• RQ1 我们能否通过使用粗粒度离散权重表示来减少在线学习中的内存占用，而不会造成显著的精度损失？
• RQ2 随机舍入如何影响在线梯度下降算法的遗憾保证？
• RQ3 使用8位计数器的概率计数能否有效替代32位计数器来表示坐标级学习率？
• RQ4 在推理时使用可变宽度编码，内存节省与预测精度之间的权衡如何？
• RQ5 自适应的粗粒度权重表示能否在极低内存开销下实现无遗憾学习？

主要发现

• 使用16位定点表示可使训练期间RAM使用量减少50%以上，仅引入微小的线性遗憾项。
• 采用8位随机计数器表示坐标级学习率，相比32位整数，内存成本降低75%，精度损失可忽略不计。
• 对权重采用自适应粗粒度表示可进一步降低内存占用，并保持无遗憾学习性能。
• 预测时的可变宽度编码使系数存储量在实验中降至每值少于2位，且额外误差极小。
• 理论分析表明，随机舍入与计数方案的遗憾边界仅略差于其精确对应方法。
• 实验结果证实，所提方法在内存-精度权衡中全面优于标准方法，尤其在大规模场景下表现突出。