[論文レビュー] Noisy Computations during Inference: Harmful or Helpful?

Minghai Qin, Dejan Vučinić|arXiv (Cornell University)|Nov 26, 2018

Adversarial Robustness in Machine Learning参考文献 23被引用数 5

ひとこと要約

本論文では、神経ネットワークのハードウェア由来の推論ノイズおよびブラックボックス攻撃に対する耐性を高めるために、ノイズを注入した学習と推論時の投票手法を提案する。ノイズのあるMNIST推論において、99.5%にまで近い正確性を達成し、推論時に乗法的ノイズを用いることで、CIFAR10において1.13%の防御性能向上を実現した。これにより、ノイズがディープラーニングシステムにおいて有益に活用可能であることが示された。

ABSTRACT

We study two aspects of noisy computations during inference. The first aspect is how to mitigate their side effects for naturally trained deep learning systems. One of the motivations for looking into this problem is to reduce the high power cost of conventional computing of neural networks through the use of analog neuromorphic circuits. Traditional GPU/CPU-centered deep learning architectures exhibit bottlenecks in power-restricted applications (e.g., embedded systems). The use of specialized neuromorphic circuits, where analog signals passed through memory-cell arrays are sensed to accomplish matrix-vector multiplications, promises large power savings and speed gains but brings with it the problems of limited precision of computations and unavoidable analog noise. We manage to improve inference accuracy from 21.1% to 99.5% for MNIST images, from 29.9% to 89.1% for CIFAR10, and from 15.5% to 89.6% for MNIST stroke sequences with the presence of strong noise (with signal-to-noise power ratio being 0 dB) by noise-injected training and a voting method. This observation promises neural networks that are insensitive to inference noise, which reduces the quality requirements on neuromorphic circuits and is crucial for their practical usage. The second aspect is how to utilize the noisy inference as a defensive architecture against black-box adversarial attacks. During inference, by injecting proper noise to signals in the neural networks, the robustness of adversarially-trained neural networks against black-box attacks has been further enhanced by 0.5% and 1.13% for two adversarially trained models for MNIST and CIFAR10, respectively.

研究の動機と目的

• 神経ミマークス推論におけるノイズの悪影響、特に低消費電力埋め込みシステムにおける影響を軽減すること。
• 推論時にノイズを導入することで、ブラックボックス攻撃に対する耐性が向上するかを検討すること。
• ノイズに耐性を持つネットワークを学習させることで、神経ミマークスハードウェアの精度と消費電力要件を低減すること。
• 遅延や消費電力の追加コストなしに、強いアナログノイズ下でも神経ネットワークの性能を向上させるアルゴリズム的ソリューションの開発

提案手法

• ノイズを注入した学習：バックプロパゲーション中に、標準偏差σの乗法的ノイズを活性化に追加し、推論ノイズを模擬する。
• 投票に基づく推論：1つの入力に対して複数回のノイズ付き順方向伝搬を実行し、多数決による予測を採用することで耐性を向上させる。
• 乗法的ノイズモデル：ノイズはx' = x × (1 + ε)として適用され、ε ~ N(0, σ²)とし、アナログ回路のばらつきを模擬する。
• 敵対的訓練設定：2つの別個のネットワークを訓練する—1つは敵対的例を生成する（NN_adv）、もう1つは耐性を検証する（NN_val）—NN_valの推論時にノイズを注入する。
• ブラックボックス攻撃評価：反復的FGSMとPGDに加え、複数回の再起動を用いて、ノイズあり・なしのネットワーク間での敵対的例の転送性をテストする。
• 定量的比較：ノイズレベル（σ ∈ [0.0, 0.4]）を変化させた条件下で正確性を測定し、ノイズと耐性のトレードオフを評価する。

実験結果

リサーチクエスチョン

• RQ1 ノイズを注入した学習と投票に基づく推論は、神経ミマークスハードウェアにおける強い推論ノイズ下でも、正確性を顕著に向上させることができるか？
• RQ2 推論時にノイズを導入することで、神経ミマークス回路における高精度アナログ部品の必要性が低下するか？
• RQ3 ノイズ付き推論は、敵対的に訓練されたネットワークのブラックボックス攻撃に対する耐性を向上させることができるか？
• RQ4 転送可能な敵対的例に対する防御を最大化する最適な推論ノイズレベルは何か？
• RQ5 攻撃対象となるネットワークがノイズ付き推論を使用する場合、敵対的例の転送性はどのように変化するか？

主な発見

• ノイズを注入した学習と投票による推論により、強力なノイズ（SNR = 0 dB）下でMNISTの推論正確性が21.1%から99.5%に向上し、ハードウェアノイズに対して高い耐性を示した。
• CIFAR10においても、同じノイズ条件下で正確性が29.9%から89.1%に向上し、データセット間での一般化性を確認した。
• MNISTのストロークシーケンスにおいては、正確性が15.5%から89.6%に上昇し、時系列データに対しても有効であることを確認した。
• 低～中程度のノイズ（σ ≤ 0.4）下では、ノイズを注入した学習のみで、MNISTの正確性が95.8%から99.4%に向上し、遅延や消費電力の追加コストなしに実現した。
• ノイズ付き推論により、敵対的に訓練されたモデルの敵対的耐性が、MNISTで0.5%、CIFAR10で1.13%向上し、ブラックボックス攻撃に対する防御性能の向上を示した。
• 最適なノイズレベルは、MNISTでσ = 0.2、CIFAR10でσ = 0.1であり、それ以上にノイズを増加させると性能が劣化した。