[論文レビュー] Feature Purification: How Adversarial Training Performs Robust Deep Learning

Zeyuan Allen-Zhu, Yuanzhi Li|arXiv (Cornell University)|May 20, 2020

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、敵対的訓練が深層ニューラルネットワークにおけるロバストネスをどのように向上させるかを説明するための「特徴の精製」の概念を導入する。敵対的訓練が隠れ層の重みに生じる微小で密な混合成分（敵対的脆弱性の原因）を除去することで、特徴を精製し、特定の半径の摂動に対して証明可能なロバストネスを達成することを示している。これは、単純なFGSMに基づく敵対的訓練でも成立する。

ABSTRACT

Despite the empirical success of using Adversarial Training to defend deep learning models against adversarial perturbations, so far, it still remains rather unclear what the principles are behind the existence of adversarial perturbations, and what adversarial training does to the neural network to remove them. In this paper, we present a principle that we call Feature Purification, where we show one of the causes of the existence of adversarial examples is the accumulation of certain small dense mixtures in the hidden weights during the training process of a neural network; and more importantly, one of the goals of adversarial training is to remove such mixtures to purify hidden weights. We present both experiments on the CIFAR-10 dataset to illustrate this principle, and a theoretical result proving that for certain natural classification tasks, training a two-layer neural network with ReLU activation using randomly initialized gradient descent indeed satisfies this principle. Technically, we give, to the best of our knowledge, the first result proving that the following two can hold simultaneously for training a neural network with ReLU activation. (1) Training over the original data is indeed non-robust to small adversarial perturbations of some radius. (2) Adversarial training, even with an empirical perturbation algorithm such as FGM, can in fact be provably robust against ANY perturbations of the same radius. Finally, we also prove a complexity lower bound, showing that low complexity models such as linear classifiers, low-degree polynomials, or even the neural tangent kernel for this network, CANNOT defend against perturbations of this same radius, no matter what algorithms are used to train them.

研究の動機と目的

• クリーンデータで訓練された深層ニューラルネットワークに敵対的例が存在する理由を理解すること。
• 敵対的訓練がネットワークの学習された特徴を根本的にどのように変化させ、ロバストネスを達成するかを説明すること。
• 標準的な訓練におけるニューラルネットワーク重みにおける非ロバスト性の構造的要因を同定すること。
• 低複雑性モデル（例：線形分類器、ニューラル接線カーネル）が対応できない領域において、敵対的訓練がロバストネスを達成できることを証明すること。
• 自然なデータ分布下での2層ReLUネットワークにおける敵対的ロバストネスの理論的基盤を確立すること。

提案手法

• 敵対的脆弱性の原因となる微小で密な混合成分を除去することでロバストネスを達成するメカニズムとして「特徴の精製」の概念を導入する。
• 非ガウス分布の自然な入力分布を有する2層ReLUネットワークの構造的分析を通じて、特徴学習をモデル化する。
• 差分と分散が有界である martingale 濃縮不等式を用いて、重み摂動下でのネットワーク出力の乖離を抑え込む。
• 重み層ごとの条件付き期待値への再帰的分解を用いて、出力の安定性を分析する。
• 敵対的訓練が摂動半径 r に対してロバストネスを達成できることを示す理論的境界を導出する。
• 複雑性の下限を証明し、線形分類器、低次の多項式、ニューラル接線カーネルモデルが、同じ摂動半径に対して防御できないことを示す。

実験結果

リサーチクエスチョン

• RQ1 標準的な訓練下でReLUネットワークの隠れ層重みが示す、敵対的脆弱性を引き起こす構造的性質は何か？
• RQ2 敵対的訓練は、どのようにネットワークの内部表現を変化させ、ロバストネスを達成するか？
• RQ3 単純なFGSMに基づく敵対的例でさえ、特定の半径の摂動に対して敵対的訓練が証明可能な防御を達成できるか？
• RQ4 敵対的例が独立して訓練されたモデル間で転送される理由は何か？これは共通の特徴構造に起因するのか？
• RQ5 ロバストネスの根本的な複雑性の限界は存在するのか？特に、特定の摂動半径に対して低複雑性モデルがロバストネスを達成できないのはなぜか？

主な発見

• 2層ReLUネットワークの理論的枠組み下では、単純なFGSMアルゴリズムでさえ、敵対的訓練により摂動半径 r に対して証明可能な防御が可能である。
• 勾配降下法による2層ReLUネットワークのクリーン訓練は、隠れ層重みに蓄積される微小で密な混合成分のため、摂動半径 r の小さな敵対的摂動に対して証明的に非ロバストである。
• 理論的分析により、特徴の精製（このような混合成分の除去）が、敵対的訓練によるロバストネスの核心的メカニズムであることが示された。
• 複雑性の下限を証明し、線形分類器、低次の多項式、ニューラル接線カーネルモデルが、訓練アルゴリズムにかかわらず摂動半径 r に対して防御できないことを示した。
• 隠れ重みの構造と敵対的ロバストネスの間の証明可能な関係を確立し、ロバストなディープラーニングを理解するための新たな理論的視点を提供した。
• CIFAR-10における実験により、特徴の精製の原則が検証され、敵対的訓練が有害な重みの混合成分を減少させることを示した。