[論文レビュー] On the Connection Between Adversarial Robustness and Saliency Map Interpretability

Christian Etmann, Sebastian Lunz+2 more|arXiv (Cornell University)|May 10, 2019

Adversarial Robustness in Machine Learning被引用数 32

ひとこと要約

この論文は理論的に敵対的ロバスト性をサリエンシーマップの解釈性と入力勾配の整合性を介して結びつけ、MNISTとImageNetで局所リプシッツ正則化の下でこの関係を実験的に示し、より強い線形性が結びつきをより厳密にする。

ABSTRACT

Recent studies on the adversarial vulnerability of neural networks have shown that models trained to be more robust to adversarial attacks exhibit more interpretable saliency maps than their non-robust counterparts. We aim to quantify this behavior by considering the alignment between input image and saliency map. We hypothesize that as the distance to the decision boundary grows,so does the alignment. This connection is strictly true in the case of linear models. We confirm these theoretical findings with experiments based on models trained with a local Lipschitz regularization and identify where the non-linear nature of neural networks weakens the relation.

研究の動機と目的

• 敵対的摂動に対するニューラルネットのロバスト性とサリエンシーマップの解釈性との間に観察される関連を動機づけ、定量化する。
• ロバスト性が高まるにつれて入力画像とサリエンシーマップとの整合性を特徴づける。
• 線形および非線形（ニューラルネット）設定においてロバスト性と整合性を結びつける理論的手法を開発する。
• 局所リプシッツ連続性を高める正則化が、標準データセット上の整合性とロバスト性に与える影響を評価する。

提案手法

• 分類器の決定を変える最も近い摂動までの距離として敵対的ロバスト性を定義する。
• 入力xとサリエンシーマップ∇Ψ(x)との整合性を α(x)=|⟨x,∇Ψ(x)⟩|/||∇Ψ(x)|| として導入する。
• 線形および正の1〜斜性（one-homogeneous）スコア関数に対して、線形化したロバスト性は二値化された整合性と等しくなる（ρ̃(x)=α†(x)）。
• ニューラルネットワークを線形成分（均質項）と残差項に同次分解し、ロバスト性と整合性を関連づける界を導出する（定理2および定理3）。
• 局所的にアファイン（ピースワイズリニア）近似を用いて、実際のロバスト性ρ(x)と線形化ロバスト性ρ̃(x)を関連づける。
• 局所リプシッツ定数をペナルティ化するダブルバックプロパゲーションで訓練し、さまざまな敵対的ロバスト性を持つモデルを生み出す（λ-正則化）。

実験結果

リサーチクエスチョン

• RQ1 敵対的ロバスト性を高めることは、入力画像とサリエンシーマップの整合性をより高く導くか？
• RQ2 線形化された局所近似は、ニューラルネットワークにおけるロバスト性と整合性の関係をどのように説明するか？
• RQ3 実際のネットワークの非線形性（例：ImageNet）は、より単純なデータ（例：MNIST）と比較して、ロバスト性と整合性の連結にどのような影響を与えるか？
• RQ4 均質部と残差部への分解は、ロバスト性とサリエンシー整合性を境界づけ、解釈するのに役立つか？
• RQ5 データセット間で局所的に一定のバイアス項がロバスト性と整合性の関係に果たす役割は何か？

主な発見

• ImageNetでは、よりロバストなモデルほど入力とサリエンシーマップの整合性が高くなる傾向があり、モデル間で中央値ロバスト性と中央値整合性の顕著なトレンドが見られる。
• MNISTでは、ロバスト性の増加とともに整合性も高まるが、より高いロバスト性レベルでは飽和しがちである。
• ImageNetとMNISTで、線形化ロバスト性ρ̃(x)と実際のロバスト性ρ(x)の強い相関が観察され、ρ̃がロバスト性の現実的な推定量であることを支持する。
• 理論的境界（定理2および定理3）は、ρ̃(x)が整合性項と残差項の和によって上に制限されることを示す。これらの項の大きさが整合性に対するデータセット依存の挙動を説明する。
• 均質的分解は、ReLU活性化を持つニューラルネットを、線形化された項と局所的に一定の残差項で分析できることを明らかにし、ロバスト性–整合性の関係の解釈を助ける。
• MNISTの挙動は初期段階で線形項により支配される傾向が強いのに対し、ImageNetモデルはロバスト性が増すにつれて線形項の重要性が増すことを示し、非線形性が高いほど整合性とロバスト性の結びつきを弱めることを示唆する。