[論文レビュー] Ranger: Boosting Error Resilience of Deep Neural Networks through Range Restriction.

Zitao Chen, Guanpeng Li+1 more|arXiv (Cornell University)|Mar 30, 2020

Adversarial Robustness in Machine Learning参考文献 30被引用数 14

ひとこと要約

Rangerは、重要な層における活性化範囲を自動で制限することで、一時的ハードウェア障害に対する深層ニューラルネットワーク（DNN）の耐障害性を向上させる、新しいリターゲティング可能な技術である。ソフトエラーによって引き起こされる大きな偏差を抑制することで、RangerはDNNが内在的な耐障害性によって障害を耐えられるようにし、再トレーニングなしで精度を損なわず、最小限のオーバーヘッドで8つのDNN（自動運転車のモデルを含む）において顕著なエラー耐性を達成する。

ABSTRACT

With the emerging adoption of deep neural networks (DNNs) in the HPC domain, the reliability of DNNs is also growing in importance. As prior studies demonstrate the vulnerability of DNNs to hardware transient faults (i.e., soft errors), there is a compelling need for an efficient technique to protect DNNs from soft errors. While the inherent resilience of DNNs can tolerate some transient faults (which would not affect the system's output), prior work has found there are critical faults that cause safety violations (e.g., misclassification). In this work, we exploit the inherent resilience of DNNs to protect the DNNs from critical faults. In particular, we propose Ranger, an automated technique to selectively restrict the ranges of values in particular DNN layers, which can dampen the large deviations typically caused by critical faults to smaller ones. Such reduced deviations can usually be tolerated by the inherent resilience of DNNs. Ranger can be integrated into existing DNNs without retraining, and with minimal effort. Our evaluation on 8 DNNs (including two used in self-driving car applications) demonstrates that Ranger can achieve significant resilience boosting without degrading the accuracy of the model, and incurring negligible overheads.

研究の動機と目的

• ハイパフォーマンスコンピューティング（HPC）および安全規制が厳しいシステムに実装された深層ニューラルネットワーク（DNN）における、増加するハードウェアの一時的障害に関する懸念に対処すること。
• DNNが微小なエラーに対しては内在的に耐性を持つものの、誤分類を引き起こす深刻な障害を特定・緩和すること。
• 再トレーニングや顕著なパフォーマンスオーバーヘッドなしに、軽量で侵襲のない技術を構築して、障害耐性を向上させること。
• 自動範囲制限を用いて、ソフトエラーに対して耐性を持つDNNを、故障しやすい環境でも実用的に展開可能にする。

提案手法

• Rangerは、一時的障害によって大きな偏差が生じやすい、DNNの重要な層を自動で同定する。
• これらの層における活性化の動的範囲を制限することで、障害に起因する偏差の影響を低減する。
• 各層の活性化分布の統計的分析を用いて、安全な上限および下限を決定する。
• 範囲制限は推論時に行われ、元のDNNの再トレーニングやアーキテクチャ変更は不要である。
• この手法は透明性と合成性を備えており、最小限の工学的作業で既存のDNNパイプラインに統合可能である。
• 障害に起因する偏差が許容範囲内に収まるようにすることで、DNNの内在的耐障害性を活用する。

実験結果

リサーチクエスチョン

• RQ1 特定のDNN層における範囲制限が、モデル出力への一時的ハードウェア障害の影響を効果的に低減できるか？
• RQ2 再トレーニングやアーキテクチャ変更なしに、障害に脆弱な層を自動で同定できるか？
• RQ3 範囲制限によって、どの程度障害耐性が向上し、モデルの精度と効率が維持されるか？
• RQ4 多様なDNNアーキテクチャにおいて、範囲制限を適用する際の遅延およびリソース使用量のオーバーヘッドはどの程度か？
• RQ5 Rangerは、自動運転車に使用されるような安全規制が厳しいDNNに対しても効果的に適用可能か？

主な発見

• Rangerは、2つの自動運転車アプリケーションで使用されるDNNを含む8つの多様なDNNにおいて、精度を損なわず、誤り耐性を著しく向上させた。
• この技術は無視できるほどのパフォーマンスオーバーヘッドを伴い、リアルタイムおよびHPC環境において実用的である。
• 活性化範囲を制限することで、障害に起因する偏差の大きさが低減され、DNNの内在的耐障害性がそれらを吸収できるようになった。
• この手法は異なるネットワークアーキテクチャにわたり有効であり、再トレーニングやアーキテクチャ変更を必要としない。
• Rangerは、そうでなければ誤分類を引き起こす深刻な障害に対しても強靭であることが示され、システムの信頼性が著しく向上した。
• 自動層選択プロセスにより、障害に最も脆弱な層のみが変更され、効率性が保たれ、干渉が最小限に抑えられた。