[論文レビュー] Suppressing the Unusual: towards Robust CNNs using Symmetric Activation Functions

Qiyang Zhao, Lewis D. Griffin|arXiv (Cornell University)|Mar 16, 2016

Adversarial Robustness in Machine Learning参考文献 20被引用数 20

ひとこと要約

本稿では、特徴マップ内の異常または外れ値の信号を抑えることで、深層畳み込みニューラルネットワーク（CNN）のロバスト性を向上させる対称活性化関数（SAFs）を提案する。標準のReLUやシグモイドユニットに代えてSAFs（例：1次元RBFやmReLU）を導入することで、クリーンデータにおける精度の低下を最小限に抑えつつ、敵対的、無意味な、ノイズの強い入力に対して顕著なロバスト性向上が達成される。

ABSTRACT

Many deep Convolutional Neural Networks (CNN) make incorrect predictions on adversarial samples obtained by imperceptible perturbations of clean samples. We hypothesize that this is caused by a failure to suppress unusual signals within network layers. As remedy we propose the use of Symmetric Activation Functions (SAF) in non-linear signal transducer units. These units suppress signals of exceptional magnitude. We prove that SAF networks can perform classification tasks to arbitrary precision in a simplified situation. In practice, rather than use SAFs alone, we add them into CNNs to improve their robustness. The modified CNNs can be easily trained using popular strategies with the moderate training load. Our experiments on MNIST and CIFAR-10 show that the modified CNNs perform similarly to plain ones on clean samples, and are remarkably more robust against adversarial and nonsense samples.

研究の動機と目的

• 敵対的および無意味な入力（人間が認識できないほど微小に摂動された、またはランダムに生成された入力）が高信頼度の誤分類を引き起こすという、深層CNNの脆弱性を是正すること。
• ネットワーク構造や学習手順を変更せずに、層内での異常な大きさの信号を抑えることでロバスト性が向上するかを検証すること。
• ネットワーク構造や学習プロトコルを変更せず、軽量で即座に統合可能なソリューション（対称活性化関数：SAFs）を提案し、ロバスト性を向上させること。
• 標準ベンチマーク（MNISTおよびCIFAR-10）上で、敵対的、無意味な、ノイズの強い入力などのさまざまな摂動タイプに対してSAFsの有効性を評価すること。

提案手法

• 1次元RBFや修正ReLU（mReLU）を含む対称活性化関数（SAFs）を導入し、径数関数が内蔵的に持つロバスト性にインspiredされ、異常な大きさの入力を設計的に抑制する。
• 完全結合層や畳み込み層にSAFsを置換または挿入することでCNNに統合し、元のネットワーク構造と学習パイプラインを保持する。
• 追加の正則化や敵対的訓練を用いず、標準的な学習戦略（例：モーメンタム付きSGD）を用いることで、計算コストの増加を最小限に抑える。
• 訓練中にランダムおよび平均データオーグメンテーション（例：'r-m'バリアント）を用いることで、特にCIFAR-10においてロバスト性をさらに向上させる。
• 入力歪みの度合を測定するための摂動強度βとPSNRを用い、クリーン、敵対的、無意味な、ノイズの強い入力の各タイプにおける精度を評価する。
• さまざまな摂動レベルにおける誤差率と分類精度を比較し、一般化性能および安定性に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 対称活性化関数（SAFs）は、CNNの特徴マップ内の異常な信号を抑えることができ、敵対的および無意味な入力に対するロバスト性を向上させることができるか？
• RQ2 標準的なCNNにSAFsを統合することで、クリーンデータにおける性能を損なわず、ロバスト性が向上するか？
• RQ3 敵対的、無意味な、ノイズの強い摂動に対して、SAFsを用いたCNNの性能は、標準的なReLUベースのモデルと比べてどのように異なるか？
• RQ4 敵対的訓練やアーキテクチャ変更を要せず、標準的な学習手順と組み合わせてSAFsを効果的に使用できるか？
• RQ5 一部のSAFsバリアントでテスト精度が向上していることから示唆されるように、ロバスト性と一般化能力の間に相関関係があるか？

主な発見

• mReLU-r-mバリアントは、クリーンなCIFAR-10データに対して0.226の誤差率を達成し、プレーンCNNの0.217と比較してわずかに優れた一般化の可能性を示している。
• β = 0.050の敵対的サンプルでは、mReLU-r-mモデルの誤差率は0.541であり、プレーンCNNの0.933と比べて顕著なロバスト性の向上が確認された。
• 無意味なサンプルでは、β = 0.075でmReLU-r-mモデルは0.008の誤差率を達成したのに対し、プレーンCNNは0.880に達し、ほぼ完全なロバスト性を示した。
• β = 0.150のノイズの強い入力では、mReLU-r-mモデルの誤差率は0.295であり、プレーンCNNの0.656と比べて高い耐性を示した。
• SAFsベースのモデルはクリーンデータにおける精度をほぼ維持しながら、すべての摂動付きデータタイプで顕著に優れた性能を示しており、異常な信号の抑制が確認された。
• MNISTよりもCIFAR-10でロバストネスの向上が顕著であったが、これはCIFAR-10の訓練サンプル数の少なさと、意思決定境界の感度の高さが要因であると考えられる。