[論文レビュー] Batch Normalization Increases Adversarial Vulnerability: Disentangling Usefulness and Robustness of Model Features

Philipp Benz, Chaoning Zhang+1 more|arXiv (Cornell University)|May 4, 2021

Adversarial Robustness in Machine Learning参考文献 32被引用数 12

ひとこと要約

この論文は、局所線形性に基づく指標であるLIGSを用いて、深層ニューラルネットワークの特徴を頑健性（F robustness）と標準的有用性（F usefulness）に分離するフレームワークを提案する。局所線形性に基づく指標であるLIGSを用いて、バッチ正則化がモデルの頑健でない特徴に依存するようになることで、敵対的脆弱性が増加することを明らかにした。この傾向は正則化手法の種類を問わず確認され、特徴の転送性および破損にに対する耐性分析によって裏付けられている。

ABSTRACT

Batch normalization (BN) has been widely used in modern deep neural networks (DNNs) due to fast convergence. BN is observed to increase the model accuracy while at the cost of adversarial robustness. We conjecture that the increased adversarial vulnerability is caused by BN shifting the model to rely more on non-robust features (NRFs). Our exploration finds that other normalization techniques also increase adversarial vulnerability and our conjecture is also supported by analyzing the model corruption robustness and feature transferability. With a classifier DNN defined as a feature set F we propose a framework for disentangling F robust usefulness into F usefulness and F robustness. We adopt a local linearity based metric, termed LIGS, to define and quantify F robustness. Measuring the F robustness with the LIGS provides direct insight on the feature robustness shift independent of usefulness. Moreover, the LIGS trend during the whole training stage sheds light on the order of learned features, \ie from RFs (robust features) to NRFs, or vice versa. Our work analyzes how BN and other factors influence the DNN from the feature perspective. Prior works mainly adopt accuracy to evaluate their influence regarding F usefulness, while we believe evaluating F robustness is equally important, for which our work fills the gap.

研究の動機と目的

• 標準的精度を超えた深層ニューラルネットワーク特徴の敵対的頑健性を評価するためのギャップを埋める。
• 収束性と精度を向上させる一方で敵対的脆弱性を増加させるバッチ正則化の理由を解明する。
• 学習された特徴の頑健有用性を、有用性と頑健性の独立した成分に分解する。
• 正則化手法が頑健特徴と非頑健特徴への学習順序および依存度に与える影響を定量化する。
• モデル精度とは独立して、特徴の頑健性を直接的かつ定量的に測定する指標を提供する。

提案手法

• DNNの特徴集合FをF usefulnessとF robustnessに分解するフレームワークを提案する。
• 局所線形性に基づく指標であるLIGS（Local Intrinsic Gradient Stability）を導入し、F robustnessを定量化する。
• LIGSを用いて訓練全期間にわたる頑健性の傾向を測定し、特徴の学習順序を推定する。
• 特徴の転送性および破損に対する耐性分析を通じて、頑健性シフト仮説を検証する。
• バッチ正則化と他の正則化手法を比較し、敵対的脆弱性に与える共通の影響を評価する。
• 特徴表現Fのソースとして分類器DNNを用いることで、特徴レベルの挙動を分析可能にする。

実験結果

リサーチクエスチョン

• RQ1 バッチ正則化は、非頑健特徴（NRFs）にモデルの依存度を高めることで敵対的脆弱性を増加させるか？
• RQ2 バッチ正則化以外の正則化手法に対しても同様の頑健性の低下が見られるか。これは正則化機構に起因する広範な現象を示唆するか？
• RQ3 局所線形性に基づく指標を用いて、有用性とは独立して特徴の頑健性を定量的に測定できるか？
• RQ4 特徴の学習順序はどのようになっているか。モデルは頑健特徴を非頑健特徴より先に学習するのか、それとも逆か？
• RQ5 特徴の頑健性は、転送性および破損に対する耐性とどのように相関するか？

主な発見

• LIGSを用いた頑健性分析により、バッチ正則化が非頑健特徴（NRFs）への依存度を高めることで敵対的脆弱性が増加することが確認された。
• バッチ正則化以外の正則化手法に対しても敵対的脆弱性が増加しており、正則化機構自体に起因する広範な傾向であることが示唆された。
• LIGSは特徴の頑健性を効果的に定量化でき、モデル精度や有用性とは独立して頑健性のシフトが生じることを明らかにした。
• LIGSの訓練経路は明確な傾向を示しており、特にバッチ正則化の下では、モデルがまず頑健特徴を学習し、その後に非頑健特徴を学習することが分かった。
• 特徴の転送性および破損に対する耐性は、LIGSに基づく頑健性と強く相関しており、指標の信頼性が裏付けられた。
• 本研究は、特徴の頑健性を評価することが、モデル精度の評価とは別に不可欠であることを示し、DNN評価における重要なギャップを埋めた。