[論文レビュー] Robust Convolutional Neural Networks under Adversarial Noise

Jonghoon Jin, Ayşegül Dündar+1 more|arXiv (Cornell University)|Nov 19, 2015

Adversarial Robustness in Machine Learning参考文献 25被引用数 67

ひとこと要約

本稿では、入力画素をガウスノイズを伴う確率変数としてモデル化することで、敵対的ノイズに対してより頑健な、確率的フィードフォワード畳み込みニューラルネットワーク（CNN）を提案する。畳み込み層、ReLU層、マックスプーリング層に確率性を組み込み、画素ごとのパラメトリックな平均と分散を用いることで、特にImageNetのような困難なタスクにおいて、敵対的ノイズが強い状況下でも分類精度が向上し、標準的および敵対的訓練済みモデルを上回る性能を発揮する。

ABSTRACT

Recent studies have shown that Convolutional Neural Networks (CNNs) are vulnerable to a small perturbation of input called "adversarial examples". In this work, we propose a new feedforward CNN that improves robustness in the presence of adversarial noise. Our model uses stochastic additive noise added to the input image and to the CNN models. The proposed model operates in conjunction with a CNN trained with either standard or adversarial objective function. In particular, convolution, max-pooling, and ReLU layers are modified to benefit from the noise model. Our feedforward model is parameterized by only a mean and variance per pixel which simplifies computations and makes our method scalable to a deep architecture. From CIFAR-10 and ImageNet test, the proposed model outperforms other methods and the improvement is more evident for difficult classification tasks or stronger adversarial noise.

研究の動機と目的

• 小さな、目に見えない入力摂動によって誤分類を引き起こす標準CNNの脆弱性を解消する。
• 高フレームレートや変動するセンサーノイズが一般的なモバイルイメージングを含む、実世界の応用において入力ノイズに頑健であることを向上させる。
• 敵対的訓練を必要とせず、敵対的ノイズ下でも性能を維持できるスケーラブルなフィードフォワードCNNアーキテクチャを開発する。
• パラメトリックな統計モデリングを用いて、入力の不確実性をすべての層に伝搬させ、頑健な意思決定を可能にする。
• ImageNetのような困難なデータセットにおいて、一般化性能と頑健性の向上に確率的モデリングが有効であることを実証する。

提案手法

• 入力画素を、元の画素値と等しい平均、固定分散σ²を持つ正規分布に従う確率変数としてモデル化し、入力層に確率性を導入する。
• 畳み込み層を変更し、出力分布の一次モーメント（平均）と二次モーメント（分散）を計算する。ここで、E[Y] = ΣωE[X] + b および Var[Y] = Σω²Var[X] を用いる。
• Y = max(X, θ) となるcensored正規分布の平均と分散を導出する。標準正規分布のCDF Φ とPDF φ を用いる。
• 2つの正規確率変数の最大値の正確な分布を用いて、確率的マックスプーリングを実装し、平均による順序付けにより近似誤差を低減する。
• 画素1つあたり1つの平均と1つの分散のパラメトリックモデルを用いることで、AlexNet や NIN などの深層アーキテクチャへのスケーラビリティを実現する。
• 標準的または敵対的目的関数を用いてネットワークを訓練し、推論時に確率的フィードフォワードモデルを適用することで、頑健性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練を必要とせず、入力層およびネットワーク層に確率性を導入することで、敵対的ノイズに対する頑健性が向上するか？
• RQ2 提案手法の確率的フィードフォワードモデルは、敵対的ノイズの増加に伴い、標準的および敵対的訓練済みCNNと比較してどのように性能を発揮するか？
• RQ3 強いノイズ条件下で、より困難な分類タスク（例：ImageNet）において、確率的モデルがより大きな精度向上を達成するか？
• RQ4 敵対的ノイズ下での頑健性と、クリーンな自然画像での性能の間には、どのようなトレードオフがあるか？
• RQ5 標準CNNと確率的モデルをアンサンブル化することで、最小限の精度損失で全体の頑健性を向上させることができるか？

主な発見

• CIFAR-10では、確率的フィードフォワード（FF）モデルが、標準学習時の72.3％から0.5ピクセルの敵対的ノイズ下で78.1％へ向上し、5.8％の向上を達成した。
• ImageNetでは、標準学習下で0.01ピクセルの敵対的ノイズ下でも、確率的FFモデルが33.4％の精度を達成したのに対し、標準学習のみでは24.8％にとどまり、8.6％の向上を示した。
• より強いノイズ（0.5ピクセル）下では、確率的FFモデルがImageNetで33.4％の精度を維持したが、敵対的訓練は収束せず、ほぼランダムな性能にまで低下した。
• 標準CNNとアンサンブル化した場合、ImageNetでは敵対的ノイズ下で13.12％の頑健性向上が得られ、クリーンセット精度はわずか0.28％の低下にとどまった。
• この手法は、AlexNet や NIN などの深層ネットワークにもスケーラブルであり、画素ごとの平均と分散をパラメトリックにモデル化することで、効率的な計算が可能である。
• 入力分散が高すぎると（一様分布に近づく）または低すぎると（数値的不安定性）モデル性能が低下するため、ハイパーパramータチューニングに感受性があることが示された。