[论文解读] CodeNet: Training Large Scale Neural Networks in Presence of Soft-Errors

Sanghamitra Dutta, Ziqian Bai+2 more|arXiv (Cornell University)|Mar 4, 2019

Advanced Memory and Neural Computing参考文献 89被引用 4

一句话总结

CodeNet 提出了一种去中心化的、基于编码理论的策略，以在存在软错误（常见于不可靠、低功耗硬件中）的情况下，实现大规模深度神经网络的可靠、低开销训练。通过独立编码每一层，并以去中心化方式执行错误检测与解码，CodeNet 在错误容忍度上优于复制机制，减少了预期计算时间，且在计算和通信成本上与复制机制相当，同时实现了生物上合理、能效高效的训练。

ABSTRACT

This work proposes the first strategy to make distributed training of neural networks resilient to computing errors, a problem that has remained unsolved despite being first posed in 1956 by von Neumann. He also speculated that the efficiency and reliability of the human brain is obtained by allowing for low power but error-prone components with redundancy for error-resilience. It is surprising that this problem remains open, even as massive artificial neural networks are being trained on increasingly low-cost and unreliable processing units. Our coding-theory-inspired strategy, "CodeNet," solves this problem by addressing three challenges in the science of reliable computing: (i) Providing the first strategy for error-resilient neural network training by encoding each layer separately; (ii) Keeping the overheads of coding (encoding/error-detection/decoding) low by obviating the need to re-encode the updated parameter matrices after each iteration from scratch. (iii) Providing a completely decentralized implementation with no central node (which is a single point of failure), allowing all primary computational steps to be error-prone. We theoretically demonstrate that CodeNet has higher error tolerance than replication, which we leverage to speed up computation time. Simultaneously, CodeNet requires lower redundancy than replication, and equal computational and communication costs in scaling sense. We first demonstrate the benefits of CodeNet in reducing expected computation time over replication when accounting for checkpointing. Our experiments show that CodeNet achieves the best accuracy-runtime tradeoff compared to both replication and uncoded strategies. CodeNet is a significant step towards biologically plausible neural network training, that could hold the key to orders of magnitude efficiency improvements.

研究动机与目标

• 为解决在易出错、低功耗硬件上可靠训练深度神经网络这一长期挑战，受冯·诺依曼 1956 年关于容错计算的愿景启发。
• 克服现有基于复制的方法的局限性，这些方法冗余度高，且易受单点故障影响。
• 设计一种去中心化的、基于编码理论的框架，使所有计算步骤——包括编码、解码、非线性激活和矩阵运算——均可容忍错误，同时保持可靠性。
• 在计算和通信成本与复制机制相当的前提下，实现高于复制机制的错误容忍度，从而在软错误条件下实现更快的训练速度。
• 通过模仿大脑在不可靠组件中使用冗余和容错机制，实现生物上合理的神经网络训练。

提出的方法

• CodeNet 使用纠错码对每一层的权重矩阵进行编码，通过每层独立编码以降低开销。
• 采用去中心化架构，所有主要操作——编码、解码、非线性激活和矩阵乘法——均可由可能故障的节点执行。
• 通过轻量级验证步骤实现错误检测，假设这些步骤无错误，从而在无中心权威机构的情况下检测到损坏数据。
• 系统采用一种改进的分布式矩阵计算形式，子矩阵在各节点间处理，计算后在本地执行解码。
• 利用编码理论，通过利用神经网络计算和错误传播的结构，容忍的错误数量超过复制机制。
• 该方法避免在每次迭代后重新编码矩阵，显著降低计算开销。

实验结果

研究问题

• RQ1 去中心化的、基于编码理论的方法能否在分布式 DNN 训练中实现高于复制机制的错误容忍度？
• RQ2 当所有组件均可能故障时，如何在 DNN 训练的所有阶段——包括非线性激活和矩阵运算——保持容错性？
• RQ3 能否将编码的开销控制在与复制机制相当的水平，同时仍实现在不可靠硬件上的可靠训练？
• RQ4 是否可能设计一种系统，即使错误检测和解码本身也可能出错，整体计算仍保持可靠？
• RQ5 该系统能否在考虑检查点和错误恢复开销的前提下，实现比复制机制更短的预期计算时间？

主要发现

• CodeNet 的错误容忍度高于复制机制，通过减少频繁检查点的需要，实现了更快的训练速度。
• 即使考虑错误检测和恢复开销，CodeNet 的预期计算时间仍低于复制机制。
• CodeNet 在计算和通信成本上与复制机制持平，使其在大规模分布式训练中具备可扩展性。
• 实验表明，与无编码和基于复制的策略相比，CodeNet 在准确率-运行时间权衡上表现最佳。
• 即使软错误概率低至 3×10⁻⁴，无编码训练也会出现严重性能下降，而 CodeNet 仍能保持高准确率。
• 去中心化设计消除了单点故障，通过允许所有操作均可容忍错误，支持了生物上合理的计算。