[論文レビュー] Towards a Safety Case for Hardware Fault Tolerance in Convolutional Neural Networks Using Activation Range Supervision

Florian Geißler, Syed Qutub+7 more|arXiv (Cornell University)|Aug 16, 2021

Adversarial Robustness in Machine Learning参考文献 24被引用数 5

ひとこと要約

本稿では、ClipperおよびBackflip範囲制限層を用いた活性化範囲監視を提案し、CNNにおけるハードウェア故障耐性を向上させる。これにより、ビット反転に起因するソフトエラーを99%以上の再現率で検出・是正可能である。実験では、これらの手法が重大な静黙的データ破損（SDC）率を38倍以上低減し、誤分類の深刻度を低く保つことが示された。これは、MIOVisionデータセットを用いたResNet-50を用いた自動運転車両の認識システムにおいて、安全性を顕著に向上させる。

ABSTRACT

Convolutional neural networks (CNNs) have become an established part of numerous safety-critical computer vision applications, including human robot interactions and automated driving. Real-world implementations will need to guarantee their robustness against hardware soft errors corrupting the underlying platform memory. Based on the previously observed efficacy of activation clipping techniques, we build a prototypical safety case for classifier CNNs by demonstrating that range supervision represents a highly reliable fault detector and mitigator with respect to relevant bit flips, adopting an eight-exponent floating point data representation. We further explore novel, non-uniform range restriction methods that effectively suppress the probability of silent data corruptions and uncorrectable errors. As a safety-relevant end-to-end use case, we showcase the benefit of our approach in a vehicle classification scenario, using ResNet-50 and the traffic camera data set MIOVision. The quantitative evidence provided in this work can be leveraged to inspire further and possibly more complex CNN safety arguments.

研究の動機と目的

• 自動運転のような安全に不可欠なアプリケーションにおけるCNNの安全事例を構築すること。ハードウェアのソフトエラーによるリスクに対処する。
• 活性化範囲監視が、ネットワーク重みおよびニューロン状態におけるビット反転に起因する静黙的データ破損（SDC）を効果的に検出・是正できるかどうかを評価すること。
• クラスタベースの誤分類モデルを用いて、SDCイベントの深刻度を定量化し、安全に不可欠な誤分類とそうでない誤分類を区別すること。
• 実際の故障挿入条件下で、さまざまな範囲制限技術（Clipper、Backflip、その他の手法）のSDCおよび回復不能エラー率（DUE）低減効果を比較すること。
• 範囲監視が特徴マップのトポロジーを保持し、危険なまたは深刻なクラスへの誤分類のリスクを最小限に抑えるかどうかを確認すること。

提案手法

• 著者らは、各畳み込み層の後に範囲制限層（Ranger）を実装し、事前挿入推論実行から得られた境界値内で活性化値を監視・制限する。
• 8乗数の浮動小数点表現を用い、ネットワーク重みおよびニューロン状態に1ビットおよび複数ビットの反転（ビット0～8）を挿入することで、ソフトエラーをシミュレートする。
• クリーンな推論実行から抽出した区間閾値を用いて、境界外の活性化を検出し、クリッピングまたはバックフロー機構（例：Clipper、Backflip）による是正をトリガーする。
• 確率的リスクモデルを適用し、リスクを、深刻度に重み付けされたSDC確率の合計として計算する。深刻度は誤分類クラスタ（例：「歩行者」→「背景」は深刻）で定義される。
• 再トレーニングや機能の二重化を必要とせず、軽量な監視機構を活用するため、リアルタイムでの導入に適している。
• 評価は、MIOVisionデータセットを用いたResNet-50で実施され、1および10件の故障を挿入し、SDC、DUE（NaN/Inf）、および深刻な誤分類率を測定する。

実験結果

リサーチクエスチョン

• RQ1 活性化範囲監視は、CNNにおけるハードウェアのソフトエラーに起因する静黙的データ破損（SDC）を効果的に検出できるか？
• RQ2 Clipper、Backflip、その他の手法のような異なる範囲制限技術は、SDCおよび回復不能エラー（DUE）率の低減において、どのように比較されるか？
• RQ3 範囲監視は、歩行者を背景に誤分類するような安全に不可欠な誤分類の確率をどの程度低減するか？
• RQ4 範囲監視は、特徴マップのトポロジー構造を保持し、深刻な誤分類のリスクを最小限に抑えるか？
• RQ5 実際の故障挿入条件下で、範囲保護付きCNNにおけるSDCおよびDUEの残存リスクは、保護なしのものと比較してどの程度低いのか？

主な発見

• ClipperおよびBackflipによる範囲制限技術は、SDC誘発故障に対して99%以上の再現率を達成し、他の手法を顕著に上回る。
• ClipperまたはBackflipを用いることで、残存SDC率が38倍以上低減され、重みおよびニューロンの故障においてそれぞれ≤0.01にまで低下する。
• 保護下では、重み故障においては「深刻なSDC比」が≤0.41、ニューロン故障においては≤0.78に保たれ、平均深刻度の増加はなく、むしろ低下傾向にある。
• ニューロン故障においては、「歩行者」から「背景」への最も一般的な安全に不可欠な誤分類が、ClipperまたはBackflipで91%以上抑制され、SDCイベント全体に与える寄与が減少する。
• 保護下では、10件の重み故障においてDUE率は<0.03、10件のニューロン故障においては<0.05に低下するが、保護なしモデルではそれぞれ0.11および0.17である。
• SDC確率とその深刻度の重み付き合計として計算される総合リスクは、ClipperまたはBackflipが適用された場合、ほとんど無視できるほどに低下し、安全性の向上が確認された。