[論文レビュー] Toward Robust Spiking Neural Network Against Adversarial Perturbation

Ling Liang, Kaidi Xu+3 more|arXiv (Cornell University)|Apr 12, 2022

Advanced Memory and Neural Computing被引用数 8

ひとこと要約

本稿では、SNN固有の非線形性および入力形式（スパイク／デジタル）の境界を形式化することで、スパイキングニューラルネットワーク（SNN）における最初の保証可能ロバストトレーニング手法としてS-IBPおよびS-CROWNを提案する。元の精度がわずか3.7%低下する一方で、敵対的攻撃誤差が最大37.7%削減され、最初のエンドツーエンドのロバストSNNトレーニングフレームワークを実証した。

ABSTRACT

As spiking neural networks (SNNs) are deployed increasingly in real-world efficiency critical applications, the security concerns in SNNs attract more attention. Currently, researchers have already demonstrated an SNN can be attacked with adversarial examples. How to build a robust SNN becomes an urgent issue. Recently, many studies apply certified training in artificial neural networks (ANNs), which can improve the robustness of an NN model promisely. However, existing certifications cannot transfer to SNNs directly because of the distinct neuron behavior and input formats for SNNs. In this work, we first design S-IBP and S-CROWN that tackle the non-linear functions in SNNs' neuron modeling. Then, we formalize the boundaries for both digital and spike inputs. Finally, we demonstrate the efficiency of our proposed robust training method in different datasets and model architectures. Based on our experiment, we can achieve a maximum $37.7\%$ attack error reduction with $3.7\%$ original accuracy loss. To the best of our knowledge, this is the first analysis on robust training of SNNs.

研究の動機と目的

• 効率性が求められる応用分野にますます広がるスパイキングニューラルネットワーク（SNN）における敵対的攻撃の増大するセキュリティ懸念に応えるため。
• 従来、人工ニューラルネットワーク（ANN）で有効であった保証可能ロバストトレーニング手法を、ニューロンのダイナミクスや入力形式が顕著に異なるSNNに拡張するため。
• SNNにおけるℓ₀およびℓ∞ノルム下でのスパイク入力およびデジタル入力の入力境界を形式化するため。
• SNNにおける敵対的摂動に対して保証可能なロバスト性を確保するロバストトレーニングフレームワークを開発するため。
• 複数のデータセットおよびネットワークアーキテクチャを対象に評価し、ロバスト性と精度の間の実用的トレードオフを示すため。

提案手法

• SNNにおける非線形スパイク発火関数および時間的膜電位更新を扱えるよう、保証可能トレーニングを拡張したS-IBPおよびS-CROWNを提案する。
• 空間的（畳み込み／全結合）および時間的（漏れ積分）なSNN演算の線形緩和境界を形式化する。
• スパイク入力（ℓ₀およびℓ∞ノルムを用いて）およびデジタル入力の両方の入力境界を定義し、入力タイプを跨ぐロバストネス認証を可能にする。
• 時間的ダイナミクスの捉え方と計算効率の両立を図るため、トレーニング中に修正された時間ステップスケジュールT′（3に設定）を用いる。
• S-CROWN損失を用いてクリーン精度と保証可能ロバストネスの両方を最適化するように、エンドツーエンドでロバストトレーニング手順を適用する。
• データセットおよびアーキテクチャごとの元の精度とロバスト誤差の削減のトレードオフに基づき、最適なε値を選定する。

実験結果

リサーチクエスチョン

• RQ1 SNNの特徴的なニューロンダイナミクスおよび入力形式とは異なるため、ANNで有効であった保証可能ロバストトレーニング手法をSNNに適応可能か？
• RQ2 SNNにおける非線形スパイク発火関数および時間的膜電位更新に対して、タイトな境界を形式的に導出できるか？
• RQ3 SNNにおけるスパイク入力およびデジタル入力の両方について、ℓ₀およびℓ∞ノルム下での有効な入力境界の定式化は何か？
• RQ4 ロバストトレーニング用の時間ステップT′の選択が、SNNにおけるクリーン精度とロバストネスのトレードオフに与える影響は何か？
• RQ5 保証可能ロバストトレーニングは、元のモデル精度を維持しつつ、SNNにおける敵対的攻撃誤差をどの程度低減できるか？

主な発見

• 提案手法のS-IBPおよびS-CROWNは、MNISTデータセットで敵対的攻撃誤差を最大37.7%削減し、元の精度はわずか3.7%低下した。
• MNIST、FMNIST、NMNISTを含む複数のデータセットで、一貫した性能向上を示し、ロバストネスが向上した。
• 最適なロバストトレーニング時間ステップT′は3であることが判明し、時間的ダイナミクスの捉え方と計算効率の両立に最適であった。
• 特に大きなε値での条件下でも、全結合ネットワークでは畳み込みネットワークよりもロバストトレーニングが安定した。
• ロバストネスの向上は、特に高いパラメータ容量を有する畳み込みアーキテクチャで顕著であり、敵対的摂動への適応能力が向上した。
• トレーニング時に小さいεを使用しても、より大きなε攻撃に対して強化されたロバストネスを示したため、保証境界の一般化能力が優れていることが示された。