[論文レビュー] HarDNN: Feature Map Vulnerability Evaluation in CNNs

Abdulrahman Mahmoud, Siva Kumar Sastry Hari+8 more|arXiv (Cornell University)|Feb 22, 2020

Adversarial Robustness in Machine Learning参考文献 26被引用数 12

ひとこと要約

HarDNN は、CNN の脆弱な特徴マップを特定し、選択的に保護することで、一時的ハードウェア障害に対する耐性を向上させるソフトウェare指向のフレームワークである。統計的エラーインジェクションと新規の $Δ$ ロス指標、および活性化値と勾配情報に基づく高速ヒューリスティクスを用いることで、SqueezeNet において計算量をたった 30% 増加させるだけで、耐性を最大 10 倍に向上させ、計算コストあたりのエラーカバレッジにスーパー線形的な向上を達成した。

ABSTRACT

As Convolutional Neural Networks (CNNs) are increasingly being employed in safety-critical applications, it is important that they behave reliably in the face of hardware errors. Transient hardware errors may percolate undesirable state during execution, resulting in software-manifested errors which can adversely affect high-level decision making. This paper presents HarDNN, a software-directed approach to identify vulnerable computations during a CNN inference and selectively protect them based on their propensity towards corrupting the inference output in the presence of a hardware error. We show that HarDNN can accurately estimate relative vulnerability of a feature map (fmap) in CNNs using a statistical error injection campaign, and explore heuristics for fast vulnerability assessment. Based on these results, we analyze the tradeoff between error coverage and computational overhead that the system designers can use to employ selective protection. Results show that the improvement in resilience for the added computation is superlinear with HarDNN. For example, HarDNN improves SqueezeNet's resilience by 10x with just 30% additional computations.

研究の動機と目的

• 一時的ハードウェア障害にさらされる安全が求められる CNN アプリケーションにおける耐性向上の増大するニーズに対処すること。
• ハードウェア由来の推論破損を引き起こしやすい CNN のどの特徴マップが脆弱であるかを特定すること。
• 計算コストを最小限に抑えるために、最も脆弱な特徴マップのみを保護できるようにすること。
• 完全なエラーインジェクションを回避するための高速かつ正確な脆弱性推定技術を開発すること。
• 保護された CNN における耐性向上と計算コストのトレードオフを定量化すること。

提案手法

• 複数の一時的障害モデルを用いた統計的エラーインジェクションを活用し、特徴マップの脆弱性を推定する。
• 出力の破損度合いを細かく測定するための $Δ$ ロスを導入し、二値分類ミスの代わりに使用する。
• 活性化値と逆誤差伝搬の勾配を用いた 6 つのヒューリスティクスを開発し、エラーインジェクションなしで脆弱性を予測する。
• $Δ$ ロス指標を用いて特徴マップを脆弱性の度合い順にランク付けし、選択的保護の指針とする。
• 最も脆弱な特徴マップのみを複製することで、選択的保護を実装し、耐性を向上させる。
• SqueezeNet や ResNet50 などの実際の CNN を用いて、エラーカバレッジと計算コストのトレードオフを評価する。

実験結果

リサーチクエスチョン

• RQ1 どの特徴マップが一時的ハードウェア障害により出力の破損を引き起こしやすいのか？
• RQ2 完全なエラーインジェクションを避けながら、特徴マップレベルでの脆弱性を正確かつ効率的に推定する方法は何か？
• RQ3 脆弱な特徴マップを選択的に保護する際、計算コストと耐性向上の関係はどのようなものか？
• RQ4 異なる障害モデルが特徴マップの相対的脆弱性ランクにどのように影響を与えるか？
• RQ5 活性化値と勾配情報に基づく高速ヒューリスティクスは、完全なエラーインジェクションと比較して信頼できる脆弱性推定を提供できるか？

主な発見

• $Δ$ ロス指標により、二値分類ミスと比較して 10 倍速いエラーインジェクションキャンペーンが可能になり、脆弱性推定の正確性は同等であった。
• 平均して、特徴マップの 30% が全ネットワークの脆弱性の 76% を占めることが判明し、エラー感受性に顕著な偏りがあることが示された。
• SqueezeNet において HarDNN は計算量をたった 30% 増加させるだけで、耐性を 10 倍に向上させた。
• 追加計算量に対して耐性向上がスーパー線形的であることが確認され、選択的保護の高い効率性が裏付けられた。
• 勾配に基づくヒューリスティクスは、速度と正確性の良好なトレードオフを実現しており、開発段階での高速プロファイリングに適している。
• 3 つの異なる一時的障害モデル間で、特徴マップの脆弱性ランクが一貫しており、本手法の堅牢性が裏付けられた。