[論文レビュー] A Low-cost Fault Corrector for Deep Neural Networks through Range Restriction

Zitao Chen, Guanpeng Li+1 more|arXiv (Cornell University)|Mar 30, 2020

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

Rangerは、特定の層における値の範囲を制限することで、一時的ハードウェア障害によって引き起こされる大きな偏差を抑える低コストで自動化されたDNN用の故障訂正ツールである。重要な障害を無害な障害に変換することで、再計算を伴わずにDNNがエラーを耐容できるようにし、静黙的データ破損（SDC）率を最大50倍まで低減する。精度やパフォーマンスへのオーバーヘッドはほとんどない。

ABSTRACT

The adoption of deep neural networks (DNNs) in safety-critical domains has engendered serious reliability concerns. A prominent example is hardware transient faults that are growing in frequency due to the progressive technology scaling, and can lead to failures in DNNs. This work proposes Ranger, a low-cost fault corrector, which directly rectifies the faulty output due to transient faults without re-computation. DNNs are inherently resilient to benign faults (which will not cause output corruption), but not to critical faults (which can result in erroneous output). Ranger is an automated transformation to selectively restrict the value ranges in DNNs, which reduces the large deviations caused by critical faults and transforms them to benign faults that can be tolerated by the inherent resilience of the DNNs. Our evaluation on 8 DNNs demonstrates Ranger significantly increases the error resilience of the DNNs (by 3x to 50x), with no loss in accuracy, and with negligible overheads.

研究の動機と目的

• 自律走行車のような安全に重要なDNNアプリケーションにおけるハードウェアの一時的障害のリスク増加に対処すること。
• 再計算を必要としたり、高いオーバーヘッドや限られた故障カバレッジを持つ既存の故障保護技術の限界を克服すること。
• 再実行なしに不正なDNN出力を直接是正できる、低コストで自動化されたソリューションの開発。
• DNNが不正確さに対して inherently レジリエントであることに着目し、値の範囲を制限することで故障に起因する偏差を軽減すること。
• TensorFlowのような主流の機械学習フレームワークと互換性がある実用的で導入可能な技術の提供。

提案手法

• Rangerは、特定のDNN層に対して自動範囲制限を適用し、一時的障害によって引き起こされる値の偏差の大きさを制限する。
• 再計算を伴わない静黙的データ破損（SDC）を引き起こす可能性のある重要な障害を、値のクリッピングによって無害な障害に変換する。
• 層出力の統計的分析を用いて、モデルの精度を保持しながら故障耐性を高める安全な範囲境界を特定する。
• TensorFlowフレームワーク向けにコンパイラ風の変換として実装されており、手動でのコード変更が不要である。
• 推論時において動作し、ネットワーク全体を再計算せずに、リアルタイムで不正な出力を是正する。
• 8つのDNN（画像分類器およびAVステアリングモデルを含む）を用いた故障インジェクションを用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 DNN層における範囲制限が、一時的ハードウェア障害によって引き起こされる大きな偏差を効果的に抑えることができるか？
• RQ2 このアプローチによって、重要な障害がDNNが本質的に耐容できる無害な障害に変換できるか？
• RQ3 Rangerは、モデル精度を損なわず、静黙的データ破損（SDC）率をどの程度低減できるか？
• RQ4 SDCカバレッジとパフォーマンスオーバーヘッドの観点から、既存の故障保護技術と比較してどうなるか？
• RQ5 自律走行車のような実世界のDNNアプリケーションに、最小限の手間で導入可能か？

主な発見

• Rangerにより、DNN分類器のSDC率は14.92%から0.44%に低下し、33倍の改善が達成された。
• 自律走行車のステアリングモデルでは、SDC率が23.76%から2.49%に低下し、9倍の低減が達成された。
• 0.53%のパフォーマンスオーバーヘッドで97%以上のSDCカバレッジを達成し、既存手法を上回った。
• 評価対象の8つのDNNモデル、包括して安全に重要なAVモデルにおいても、精度損失は観察されなかった。
• メモリおよび計算オーバーヘッドがほとんどないため、リアルタイムシステムに適している。
• Rangerは多様なDNNアーキテクチャに有効であり、広く使われているTensorFlowフレームワークと互換性がある。