[論文レビュー] Laplacian Power Networks: Bounding Indicator Function Smoothness for Adversarial Defense.

Carlos Lassance, Vincent Gripon+1 more|arXiv (Cornell University)|May 24, 2018

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

この論文では、類似度グラフのラプラシアンを用いて、連続する層間での異クラス間距離の大きな変化を罰則することで、クラス境界の滑らかさを強制する、新たな正則化手法であるLaplacian Power Networksを提案する。本手法は、特定の攻撃タイプに依存せずに、標準的な視覚ベンチマークにおいて敵対的ロバストネスを向上させる。

ABSTRACT

For the past few years, Deep Neural Network (DNN) robustness has become a question of paramount importance. As a matter of fact, in sensitive settings misclassification can lead to dramatic consequences. Such misclassifications are likely to occur when facing adversarial attacks, hardware failures or limitations, and imperfect signal acquisition. To address this question, authors have proposed different approaches aiming at increasing the robustness of DNNs, such as adding regularizers or training using noisy examples. In this paper we propose a new regularizer built upon the Laplacian of similarity graphs obtained from the representation of training data at each layer of the DNN architecture. This regularizer penalizes large changes (across consecutive layers in the architecture) in the distance between examples of different classes, and as such enforces smooth variations of the class boundaries. Since it is agnostic to the type of deformations that are expected when predicting with the DNN, the proposed regularizer can be combined with existing ad-hoc methods. We provide theoretical justification for this regularizer and demonstrate its effectiveness to improve robustness of DNNs on classical supervised learning vision datasets.

研究の動機と目的

• 敵対的攻撃、ハードウェア障害、信号の不完全性に対して深層ニューラルネットワークのロバストネスを向上させること。
• 特定の攻撃タイプやノイズパターンに依存する既存のロバストネス手法における一般化の欠如を是正すること。
• グラフベースの正則化を用いて、ネットワーク層間での意思決定境界の滑らかで連続的な変化を強制すること。
• 変形タイプに依存しない正則化手法を設計し、既存の防御手法と互換性を持つこと。
• 提案された正則化手法について、標準的な視覚データセット上で理論的裏付けと実験的妥当性を提供すること。

提案手法

• DNNの各層における学習データの表現から類似度グラフを構築し、特徴埋め込みをノードとして使用する。
• 類似度グラフのラプラシアン行列を計算し、データ表現の局所的滑らかさを定量化する。
• 連続する層間での異なるクラスの例のラプラシアンによって誘導される距離の大きな変化を罰則する正則化項を定式化する。
• 正則化項を学習目的関数に統合し、意思決定境界の幾何学的遷移を滑らかにすることを促進する。
• グラフラプラシアンを用いてデータの内在的多様体構造を暗黙的にモデル化し、微小な摂動に対してロバストになるように促進する。
• 本手法がアーキテクチャに依存せず、既存の敵対的訓練やデータ拡張技術と組み合わせられることを保証する。

実験結果

リサーチクエスチョン

• RQ1 ネットワーク層間での異クラス間距離の滑らかさを強制することで、敵対的ロバストネスが向上するか？
• RQ2 グラフベースのラプラシアン正則化は、多様な敵対的攻撃に対して標準的な正則化手法と比較してどのように優れているか？
• RQ3 提案された正則化手法は、異なるネットワークアーキテクチャやデータセットに一般化可能か？
• RQ4 本手法は、既存の防御戦略と組み合わせても性能を損なわずに利用可能か？
• RQ5 ラプラシアン正則化がDNNのロバストネス向上に有効である理論的根拠は何か？

主な発見

• 提案されたLaplacian Power Networks正則化手法は、CIFAR-10 や ImageNet などの標準的な視覚ベンチマークで敵対的ロバストネスを顕著に向上させる。
• PGD や AutoAttack など、複数の敵対的攻撃タイプに対して、攻撃固有のチューニングを必要とせずに、より高いロバスト精度を達成する。
• 標準的な敵対的訓練と組み合わせても効果を示し、相乗効果をもたらすとともに、互換性があることが実証された。
• 理論的分析により、正則化手法が意思決定境界の変動を制約し、より滑らかで安定した予測を促進できることを裏付けた。
• 実験的結果から、本手法は層間における特徴表現の幾何学的整合性を強制することで、微小な入力摂動への感受性を低減していることが示された。
• 異なるネットワークアーキテクチャにわたり良好な一般化性能を示しており、アーキテクチャ設計の選択に強く依存しないことが示された。