[论文解读] Faster Neural Network Training with Data Echoing

Dami Choi, Alexandre Passos+2 more|arXiv (Cornell University)|Jul 12, 2019

Neural Networks and Applications参考文献 24被引用 33

一句话总结

本文提出数据回声（data echoing），一种复用上游数据处理阶段输出以回收空闲加速器容量的方法，减少上游工作并加速训练，同时保持最终性能。它实现了显著的墙时加速（例如，在 ImageNet 上通过网络读取数据时，ResNet-50 可达到 3.25x 的加速）。

ABSTRACT

In the twilight of Moore's law, GPUs and other specialized hardware accelerators have dramatically sped up neural network training. However, earlier stages of the training pipeline, such as disk I/O and data preprocessing, do not run on accelerators. As accelerators continue to improve, these earlier stages will increasingly become the bottleneck. In this paper, we introduce "data echoing," which reduces the total computation used by earlier pipeline stages and speeds up training whenever computation upstream from accelerators dominates the training time. Data echoing reuses (or "echoes") intermediate outputs from earlier pipeline stages in order to reclaim idle capacity. We investigate the behavior of different data echoing algorithms on various workloads, for various amounts of echoing, and for various batch sizes. We find that in all settings, at least one data echoing algorithm can match the baseline's predictive performance using less upstream computation. We measured a factor of 3.25 decrease in wall-clock time for ResNet-50 on ImageNet when reading training data over a network.

研究动机与目标

• 在加速器成为神经网络训练瓶颈时，推动减少上游数据处理计算。
• 提出数据回声作为一种简单、低成本的方式，通过复用前级流水线阶段的数据来回收空闲的加速器容量。
• 系统性评估不同回声策略在多样化工作负载下对训练效率和预测性能的影响。

提出的方法

• 在瓶颈流水线阶段之后插入回声阶段，以重复前一阶段的输出。
• 将回声因子 e 形式化，并推导 one-upstream-plus-e-downstream-step 的时间为 max(t_upstream, e * t_downstream)。
• 比较示例回声和批量回声变体，并分析打乱（shuffling）和增强（augmentation）对性能的影响。
• 通过准随机搜索来调整超参数，在固定的新样本预算下达到目标的样本外指标。
• 在 Transformer（LM1B、Common Crawl）、ResNet（CIFAR-10、ImageNet）和 SSD（COCO）上，结合不同批量大小进行评估。

实验结果

研究问题

• RQ1 数据回声能否在不同模型和数据集上将达到目标样本外性能所需的新训练样本数量降至更少？
• RQ2 回声插入点对性能以及所需的上游/下游工作量有何影响？
• RQ3 回声因子、批量大小和打乱对预测性能和墙时（walltime）有何影响？
• RQ4 与经过充分调优的基线相比，数据回声是否能维持最终的预测性能？
• RQ5 在上游主导的流水线中，数据回声能提供多少墙时加速？

主要发现

• 数据回声在所有但一个案例中（ResNet-50 的批量回声）都减少了达到目标样本外性能所需的新样本数量。
• 更早的插入点（在增强之前）通常比更晚的点获得的新增样本更少。
• 回声可以带来与新样本减少相当的墙时加速；在通过网络读取数据时，ResNet-50 在 ImageNet 上观察到最高可达 3.25x 的加速。
• 回声的有用性取决于回声因子和批量大小；LM1B（1024 批量）可实现高达 4–8 的因子，对于 4096 批量甚至更大；超过阈值后回报递减。
• 更多的回声数据打乱对示例回声和批量回声都能提升性能。
• 在固定的新数据预算下，所有回声变体的最终样本外性能至少与基线相同。