[論文レビュー] Laplacian Networks: Bounding Indicator Function Smoothness for Neural Network Robustness

Carlos Lassance, Vincent Gripon+1 more|arXiv (Cornell University)|May 24, 2018

Adversarial Robustness in Machine Learning参考文献 13被引用数 7

ひとこと要約

本稿では、中間層の表現から構築された類似性グラフのラプラシアンにおける大きな変化を罰則することで、深層ニューラルネットワークの各層におけるクラス境界の滑らかさを強制する、新たな正則化手法であるLaplacian Networksを提案する。この手法は、敵対的攻撃、等方的ノイズ、実装上の誤りに対する耐性を向上させ、ベースライン手法を上回り、Parseval正則化などの既存手法とも効果的に組み合わせられる。

ABSTRACT

For the past few years, Deep Neural Network (DNN) robustness has become a question of paramount importance. As a matter of fact, in sensitive settings misclassification can lead to dramatic consequences. Such misclassifications are likely to occur when facing adversarial attacks, hardware failures or limitations, and imperfect signal acquisition. To address this question, authors have proposed different approaches aiming at increasing the robustness of DNNs, such as adding regularizers or training using noisy examples. In this paper we propose a new regularizer built upon the Laplacian of similarity graphs obtained from the representation of training data at each layer of the DNN architecture. This regularizer penalizes large changes (across consecutive layers in the architecture) in the distance between examples of different classes, and as such enforces smooth variations of the class boundaries. Since it is agnostic to the type of deformations that are expected when predicting with the DNN, the proposed regularizer can be combined with existing ad-hoc methods. We provide theoretical justification for this regularizer and demonstrate its effectiveness to improve robustness of DNNs on classical supervised learning vision datasets.

研究の動機と目的

• 誤分類が深刻な結果をもたらす安全上の重要な応用分野における深層ニューラルネットワーク（DNN）の耐性に関する懸念が高まっていることを踏まえ、これを解決すること。
• 従来の手法がノイズや敵対的攻撃に特化しているのに対し、特定の変形タイプを仮定しない一般化可能な正則化手法を開発すること。
• ネットワークの各層におけるクラス指標信号の滑らかさの変化率を制約することで、一般化性能と安定性を向上させること。
• モジュラー統合により、Parseval正則化や敵対的訓練などの既存の耐性技術と互換性を持つようにすること。

提案手法

• 訓練例の内部表現を用いて、DNNの各層に類似性グラフを構築する。
• 各層の類似性グラフ上にクラス指標関数をグラフ信号として定義し、どの例がどのクラスに属するかを表す。
• 各層におけるクラス指標信号のラプラシアンを計算し、その滑らかさを測定する。値が高くなるほど、クラス境界距離の急激な変化を示す。
• 連続する層間でのラプラシアン値の大きな変動を罰則する正則化項を導入し、クラス境界の滑らかさの変化を段階的にする。
• 標準的な交差エントロピー損失と、提案されたラプラシアン滑らかさ正則化項を組み合わせた損失関数でDNNを最適化する。
• 正則化項は入力変形タイプに依存しないため、さまざまな耐性シナリオに広く適用可能である。

実験結果

リサーチクエスチョン

• RQ1 DNNの各層にわたるクラス境界の進化における滑らかさを強制することで、さまざまな摂動に対する耐性が向上するか？
• RQ2 Parseval正則化や敵対的訓練といった既存手法と比較して、提案手法のラプラシアン正則化はノイズや攻撃の下でどれほど耐性があるか？
• RQ3 提案された正則化項は、他の耐性技術と効果的に組み合わせられ、相乗効果をもたらすか？
• RQ4 重みの量子化やニューロンドロップアウトといった実装レベルの摂動の下でも、性能が維持されたり向上したりするか？

主な発見

• ガウスノイズ下でのテスト精度において、提案手法のラプラシアン正則化は、ヴァニラモデルやParseval正則化モデルを上回り、信号対ノイズ比が異なる条件下でも顕著な向上を示した。
• FGSM法を用いた敵対的攻撃において、提案手法とParseval正則化を組み合わせた場合、特に入力正規化後にノイズが加えられた状況で、最高のテスト精度を達成した。
• DeepFool攻撃を用いた最悪の敵対的状況では、ネットワークをだますために必要なL2ピクセル距離が著しく大きくなり、優れた耐性を示した。
• 40％のニューロンドロップアウト下でも、提案手法はヴァニラモデルおよびParseval正則化モデルよりも顕著に高いテスト精度を維持し、実装上の故障に対する強い耐性を示した。
• 重みを5ビットに量子化（メモリ使用量6倍削減）した場合、提案手法はすべてのベースラインよりも高いテスト精度を維持し、低精度推論における耐性を示した。