[論文レビュー] Robustness of Neural Networks against Storage Media Errors

Minghai Qin, Chao Sun+1 more|arXiv (Cornell University)|Sep 18, 2017

Advanced Neural Network Applications参考文献 14被引用数 26

ひとこと要約

この論文は、誤り検出・訂正コード（ECC）が無効化された非揮発性メモリに保存された重みに対するビットエラーに対する訓練済みの深層ニューラルネットワークの耐性について調査する。本稿では、チェックビットに基づく重みのゼロ化手法を提案し、精度を桁違いに向上させる。また、ハミング距離に基づくバイナリ表現を導入し、ビット幅が増加するに従い歪みが漸近的にゼロに収束することを示し、ビット反転の影響を標準的なバイナリ表現やIEEE 754表現よりも顕著に低減する。

ABSTRACT

We study the trade-offs between storage/bandwidth and prediction accuracy of neural networks that are stored in noisy media. Conventionally, it is assumed that all parameters (e.g., weight and biases) of a trained neural network are stored as binary arrays and are error-free. This assumption is based upon the implementation of error correction codes (ECCs) that correct potential bit flips in storage media. However, ECCs add storage overhead and cause bandwidth reduction when loading the trained parameters during the inference. We study the robustness of deep neural networks when bit errors exist but ECCs are turned off for different neural network models and datasets. It is observed that more sophisticated models and datasets are more vulnerable to errors in their trained parameters. We propose a simple detection approach that can universally improve the robustness, which in some cases can be improved by orders of magnitude. We also propose an alternative binary representation of the parameters such that the distortion brought by bit flips is reduced and even theoretically vanishing when the number of bits to represent a parameter increases.

研究の動機と目的

• ECCが無効化された状態での非揮発性メモリにおける深層ニューラルネットワークのビットエラーに対する脆弱性を分析すること。
• より複雑なモデルやデータセットは、パラメータのビット反転に対してより感受性を示すことを同定すること。
• あらゆるモデルやデータセットに普遍的に耐性を向上させる軽量なチェックビット機構を提案すること。
• ビット反転による歪みを最小限に抑える実数のバイナリ表現を設計すること、特にビット幅が増加する際に有効であるようにすること。
• 理論的および実験的に、ビット幅が非常に大きくなる極限において歪みをゼロにできるかどうかを検証すること。

提案手法

• チェックビットに基づく重みのゼロ化手法を提案：各重みにパリティビットを付加し、1ビットエラーを検出・訂正可能にする。
• ハミング距離に基づく双方向写像を用い、バイナリ配列を整数に変換する際、ハミング重みが小さい値をより小さな整数に割り当てる。
• ビット反転後のパラメータ表現における最大誤差と平均誤差を定量化するための歪み指標 d_max,k(f) と d_ave,k(f) を定義する。
• スターリングの近似を用いて、d_max,1(f) → 0 が q → ∞ のとき成り立つことを証明し、歪みの漸近的低減を示す。
• CIFAR-10 および ImageNet データセットを用い、ResNet、VGG、DenseNet モデルを用いて、Raw Bit Error Rate (RBER) 条件下での耐性を評価する。
• ビット反転条件下で、標準的なバイナリ展開、IEEE 754 浮動小数点表現、および提案されたハミングベース表現の性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 ECCが無効化された状態で、非揮発性メモリにおけるビットエラーが深層ニューラルネットワークの耐性に与える影響は何か？
• RQ2 普遍的で軽量なチェックビット機構は、多様なニューラルネットワークアーキテクチャやデータセットにおいて耐性を向上させることができるか？
• RQ3 ハミング距離に基づく実数のバイナリ表現は、標準的な表現と比較してビット反転による歪みを低減できるか？
• RQ4 パラメータあたりのビット数が増加するに従い、歪み低減の理論的限界は何か？
• RQ5 提案されたバイナリ表現は、現実的なビットエラー率下で、精度損失をどの程度低減できるか？

主な発見

• チェックビットに基づく重みのゼロ化手法により、一部のケースでは耐性が桁違いに向上し、ビット反転条件下でも精度が顕著に向上する。
• VGGのような単純なアーキテクチャと比較して、ResNet や DenseNet といったより複雑なモデルは、パラメータのビット反転に対してより感受性が強い。
• ハミング距離に基づくバイナリ表現は、ビット幅が非常に大きくなる極限（q → ∞）において歪みをゼロに収束させるのに対し、バイナリ展開やIEEE 754表現では最小歪みが一定に保たれる。
• CIFAR-10 における実験結果では、q=16 時にやや測定可能な改善が見られるが、これは大きな恩恵を得るにはさらに大きなビット幅が必要であることを示唆している。
• 理論的分析により、d_max,1(f) → 0 が q → ∞ のとき成り立つことが確認され、収束速度は O(1/√q) であると判明し、歪みはゆっくりではあるが漸近的に消失することが示された。