[论文解读] LIRS: Enabling efficient machine learning on NVM-based storage via a lightweight implementation of random shuffling

Zhi-Lin Ke, Hsiang-Yun Cheng+1 more|arXiv (Cornell University)|Oct 10, 2018

Advanced Neural Network Applications参考文献 25被引用 8

一句话总结

LIRS 提出了一种轻量级、内存高效的机器学习随机洗牌方法，适用于基于非易失性内存（NVM）的存储系统，利用快速随机 I/O 实现几乎完全随机的数据洗牌，且开销极小。通过洗牌样本索引并直接从存储设备访问数据，LIRS 平均将 SVM 和 DNN 训练时间分别减少 49.9% 和 43.5%，同时将 DNN 测试准确率提升 1.01%。

ABSTRACT

Machine learning algorithms, such as Support Vector Machine (SVM) and Deep Neural Network (DNN), have gained a lot of interests recently. When training a machine learning algorithm, randomly shuffle all the training data can improve the testing accuracy and boost the convergence rate. Nevertheless, realizing training data random shuffling in a real system is not a straightforward process due to the slow random accesses in hard disk drive (HDD). To avoid frequent random disk access, the effect of random shuffling is often limited in existing approaches. With the emerging non-volatile memory-based storage device, such as Intel Optane SSD, which provides fast random accesses, we propose a lightweight implementation of random shuffling (LIRS) to randomly shuffle the indexes of the entire training dataset, and the selected training instances are directly accessed from the storage and packed into batches. Experimental results show that LIRS can reduce the total training time of SVM and DNN by 49.9% and 43.5% on average, and improve the final testing accuracy on DNN by 1.01%.

研究动机与目标

• 解决现有洗牌方法为减少慢速存储设备上的 I/O 而牺牲随机性的低效问题。
• 利用基于 NVM 的存储（如英特尔傲腾 SSD）的快速随机访问性能，实现完全随机的洗牌。
• 与需要大内存缓冲区的传统洗牌技术相比，显著降低内存开销。
• 通过提升数据洗牌的随机性，加快 SVM 和 DNN 训练的收敛速度并提高测试准确率。
• 证明仅升级到更快的存储设备不足以实现最优训练性能，必须配合算法改进（如 LIRS）

提出的方法

• 提出一种轻量级随机洗牌机制，仅对训练数据的索引进行操作，而非数据本身。
• 使用 I/O 系统调用直接从 NVM 存储中访问已洗牌的训练实例，避免内存中的数据移动。
• 引入数据格式感知位置生成器，高效地将洗牌后的索引映射到物理存储位置，尤其适用于稀疏格式。
• 应用分页感知随机洗牌，优化当训练实例数量多且体积小时的访问模式。
• 维护一个小型随机分配表（ImageNet 为 9.8MB），用于跟踪洗牌后的索引，最大限度减少内存占用。
• 确保 I/O 与计算阶段重叠，以隐藏加载延迟，尤其在计算密集型 DNN 模型中效果显著。

实验结果

研究问题

• RQ1 数据洗牌的程度在多大程度上影响机器学习训练中的收敛速度和测试准确率？
• RQ2 具备快速随机 I/O 性能的 NVM 存储能否在不产生高昂内存或 I/O 成本的前提下实现完全随机洗牌？
• RQ3 不同存储设备的 I/O 特性（HDD、SSD、Optane）在使用不同洗牌方法时，对训练时间有何影响？
• RQ4 轻量级洗牌方法是否能在不增加内存使用的情况下减少训练时间并提高模型准确率？
• RQ5 仅将 HDD 替换为更快的存储设备是否足以实现最优训练性能，还是必须依赖 LIRS 这类算法创新？

主要发现

• 与 HDD 上的现有方法相比，LIRS 平均将 SVM 的总训练时间减少 49.9%，DNN 减少 43.5%。
• 由于批次内和批次间随机性增强，LIRS 将 DNN 测试准确率提升 1.01%，降低了陷入局部极小值的风险。
• 在傲腾 SSD 上，与 HDD 上的 TFIP 相比，LIRS 将 AlexNet 的训练时间减少 46.15%，OverFeat 减少 36.90%，VGG16 减少 47.56%。
• LIRS 仅增加 9.8MB 的额外内存（小于 ImageNet 数据集大小的 0.1%），远低于 TFIP 的 7.3GB 内存需求。
• 只要 I/O 能被计算时间隐藏，LIRS 的性能对存储速度的提升不敏感，即在达到一定阈值后性能趋于稳定。
• 仅将 HDD 升级为傲腾 SSD 而不使用 LIRS，无法获得最优训练时间提升，证明了算法创新的必要性。