[論文レビュー] CodeNet: Training Large Scale Neural Networks in Presence of Soft-Errors

Sanghamitra Dutta, Ziqian Bai+2 more|arXiv (Cornell University)|Mar 4, 2019

Advanced Memory and Neural Computing参考文献 89被引用数 4

ひとこと要約

CodeNetは、非信頼性の高い低消費電力ハードウェアで見られるソフトエラーの影響を受ける大規模なディープニューラルネットワークの信頼性の高い低オーバーヘッド学習を可能にする、分散型で符号理論にインspiredされた戦略を提案する。各層を独立して符号化し、分散型のエラー検出および復号化を用いることで、CodeNetはレプリケーションを上回るエラー耐性を達成し、期待される計算時間を短縮し、計算および通信コストをレプリケーションと同等に保ちながら、生物学的に妥当でエネルギー効率の良い学習を可能にする。

ABSTRACT

This work proposes the first strategy to make distributed training of neural networks resilient to computing errors, a problem that has remained unsolved despite being first posed in 1956 by von Neumann. He also speculated that the efficiency and reliability of the human brain is obtained by allowing for low power but error-prone components with redundancy for error-resilience. It is surprising that this problem remains open, even as massive artificial neural networks are being trained on increasingly low-cost and unreliable processing units. Our coding-theory-inspired strategy, "CodeNet," solves this problem by addressing three challenges in the science of reliable computing: (i) Providing the first strategy for error-resilient neural network training by encoding each layer separately; (ii) Keeping the overheads of coding (encoding/error-detection/decoding) low by obviating the need to re-encode the updated parameter matrices after each iteration from scratch. (iii) Providing a completely decentralized implementation with no central node (which is a single point of failure), allowing all primary computational steps to be error-prone. We theoretically demonstrate that CodeNet has higher error tolerance than replication, which we leverage to speed up computation time. Simultaneously, CodeNet requires lower redundancy than replication, and equal computational and communication costs in scaling sense. We first demonstrate the benefits of CodeNet in reducing expected computation time over replication when accounting for checkpointing. Our experiments show that CodeNet achieves the best accuracy-runtime tradeoff compared to both replication and uncoded strategies. CodeNet is a significant step towards biologically plausible neural network training, that could hold the key to orders of magnitude efficiency improvements.

研究の動機と目的

• 1956年にフォン・ノイマンが提示した故障耐性計算のビジョンにインspiredされ、長年の課題である、信頼性の低い低消費電力ハードウェア上でディープニューラルネットワークを信頼性高く学習することに取り組む。
• 高い再帰的冗長性と単一障害点に脆弱である既存のレプリケーションベースのアプローチの限界を克服すること。
• すべての計算ステップ—符号化、復号化、非線形活性化、行列演算—が故障する可能性がある状況でも信頼性を維持できる、分散型で符号理論に基づくフレームワークを設計すること。
• 計算および通信コストをレプリケーションと同等に保ちながら、より高いエラー耐性を達成し、ソフトエラー条件下での高速な学習を実現すること。
• 脳が信頼性の低い部品において冗長性とエラー耐性を用いるのを模倣することで、生物学的に妥当なニューラルネットワーク学習を可能にすること。

提案手法

• CodeNetは、各層の重み行列をエラー訂正符号を用いて符号化し、各層ごとに独立して符号化することでオーバーヘッドを低減する。
• すべての主要な処理—符号化、復号化、非線形活性化、行列乗算—が故障する可能性があるノードで実行可能な分散型アーキテクチャを採用する。
• 軽量な検証ステップを用いてエラー検出を実装し、中央集権的な監査機関を必要とせず、障害を検出できる。
• 部分行列をノード間で処理する分散行列計算の修正形を用い、計算後に局所的に復号化を実行する。
• 符号理論を活用することで、ニューラルネットワーク計算の構造とエラー伝播の性質を活かし、レプリケーションよりも多くのエラーを耐えられる。
• 各イテレーション後に行列を再符号化するのを避けることで、計算オーバーヘッドを顕著に低減する。

実験結果

リサーチクエスチョン

• RQ1 分散型で符号理論に基づくアプローチは、分散DNN学習において、レプリケーションを上回るエラー耐性を達成できるか？
• RQ2 すべてのコンponentsが故障する可能性がある状況でも、非線形活性化や行列演算を含むDNN学習の全段階でエラー耐性を維持できるか？
• RQ3 符号化のオーバーヘッドをレプリケーションと同等に保ちつつ、非信頼性の高いハードウェアでも信頼性のある学習を可能にできるか？
• RQ4 エラー検出および復号化自体が故障する可能性があるにもかかわらず、全体の計算が信頼性を保てるようなシステムを設計できるか？
• RQ5 チェックポイント作成およびエラー回復のオーバーヘッドを考慮しても、レプリケーションよりも期待される計算時間が短くなるか？

主な発見

• CodeNetは、頻繁なチェックポイント作成の必要性を減らすことで、レプリケーションを上回るエラー耐性を達成し、より高速な学習を可能にする。
• エラー検出および回復のオーバーヘッドを考慮しても、CodeNetにおける期待される計算時間はレプリケーションを下回る。
• CodeNetは、計算および通信コストをレプリケーションと同等に保ち、大規模な分散学習にスケーラブルである。
• 実験では、CodeNetが符号化なしおよびレプリケーションベースの戦略と比較して、最高の精度-実行時間トレードオフを達成している。
• ソフトエラー確率がたとえ3×10⁻⁴であっても、符号化なしの学習では深刻な性能低下が生じるが、CodeNetは高い精度を維持する。
• 分散型設計により単一障害点が排除され、すべての処理が故障する可能性があるにもかかわらず、生物学的に妥当な計算を実現する。