[論文レビュー] The Adversarial Attack and Detection under the Fisher Information Metric

Chenxiao Zhao, P. Thomas Fletcher+4 more|arXiv (Cornell University)|Oct 9, 2018

Adversarial Robustness in Machine Learning参考文献 27被引用数 5

ひとこと要約

本稿では、情報幾何学におけるフィッシャー情報計量（FIM）を用いて、敵対的攻撃と検出の統一的フレームワークを提案する。1ステップスペクトル攻撃（OSSA）を導入し、敵対的摂動をFIMの最大固有ベクトルから導出する。対応する固有値を、頑健な検出モデルの特徴量として用いる。この手法は、自身の攻撃によって生成された敵対的例において、ベースライン手法と比較してAUCスコアが最大で7.16%高い、最先端の検出性能を達成する。

ABSTRACT

Many deep learning models are vulnerable to the adversarial attack, i.e., imperceptible but intentionally-designed perturbations to the input can cause incorrect output of the networks. In this paper, using information geometry, we provide a reasonable explanation for the vulnerability of deep learning models. By considering the data space as a non-linear space with the Fisher information metric induced from a neural network, we first propose an adversarial attack algorithm termed one-step spectral attack (OSSA). The method is described by a constrained quadratic form of the Fisher information matrix, where the optimal adversarial perturbation is given by the first eigenvector, and the model vulnerability is reflected by the eigenvalues. The larger an eigenvalue is, the more vulnerable the model is to be attacked by the corresponding eigenvector. Taking advantage of the property, we also propose an adversarial detection method with the eigenvalues serving as characteristics. Both our attack and detection algorithms are numerically optimized to work efficiently on large datasets. Our evaluations show superior performance compared with other methods, implying that the Fisher information is a promising approach to investigate the adversarial attacks and defenses.

研究の動機と目的

• 情報幾何学を用いて、深層ニューラルネットワークの敵対的攻撃に対する内在的な幾何的脆弱性を理解すること。
• フィッシャー情報行列（FIM）を活用して最適な摂動を特定する、新たな敵対的攻撃手法を開発すること。
• FIMの固有値を、敵対的入力を検出するための内在的特徴量として活用すること。
• 大規模データセットにスケーリング可能な、効率的で数値最適化されたアルゴリズムを設計すること。
• 検出手法の多様な攻撃タイプにわたる一般化能力を実証すること。

提案手法

• 敵対的攻撃を、フィッシャー情報行列（FIM）上の制約付き二次計画問題として定式化し、最適な摂動がFIMの第一固有ベクトルに対応することを示す。
• FIMの固有値を、局所的なモデルの脆弱性の指標として用い、大きな固有値は、対応する固有ベクトル方向への摂動に対して高い感受性を示すことを示す。
• CIFAR-10 や MNIST といった大規模データセットにおいて、FIM 及びその固有ベクトルを効率的に計算するための数値最適化技術を適用する。
• ネットワークをだませる最小の摂動サイズを特定するためにバイナリサーチを適用し、固有値に基づく脆弱性評価の妥当性を検証する。
• 上位20個の固有値を特徴量として、ランダムフォレストまたはナイーブベイズ分類器を訓練し、敵対的入力を検出する。
• 十分統計量の下でフィッシャー情報計量に不変であるため、FIMを用いることで再パrameterizationに不変性を確保する。

実験結果

リサーチクエスチョン

• RQ1 フィッシャー情報計量を用いて、深層ニューラルネットワークの敵対的攻撃に対する内在的脆弱性をどのように特徴づけられるか？
• RQ2 FIMの固有ベクトルおよび固有値を用いて、より効果的で幾何学的感度を持つ敵対的例を生成できるか？
• RQ3 FIMの固有値は、多様な攻撃タイプにわたる敵対的入力の検出に、信頼性があり一般化可能な特徴量として機能するか？
• RQ4 本手法の検出法は、カーネル密度推定（KD）やベイジアン不確実性（BU）といった既存手法と比較して、性能および頑健性において優れているか？
• RQ5 提案された攻撃（OSSA）の幾何的最適性が、検出モデルの一般化能力にどの程度影響を及えるか？

主な発見

• 1ステップスペクトル攻撃（OSSA）は、FIMの第一固有ベクトルを選択することで敵対的例を生成し、これはフィッシャー計量下での入力-出力マッピングにおける最大の曲率方向に一致する。
• FIMの固有値は敵対的脆弱性と強く相関しており、大きな固有値は、対応する固有ベクトル方向への摂動に対して高い感受性を示すことを示している。
• 上位20個の固有値を特徴量として用いた本手法の検出法は、OTCMおよびFGM攻撃で生成された敵対的例に対して、AUCスコアがそれぞれ98.55%および98.96%に達し、KDおよびBUベースラインを上回る性能を示した。
• OSSAによって生成された敵対的例において、KDとBUの組み合わせと比較して、AUCスコアが7.16%および4.47%高い結果となり、優れた検出能力を示した。
• 検出器は多様な攻撃タイプにわたって良好に一般化しており、1つの攻撃タイプでのみ学習させた場合でもAUCスコアが90%を超える。ただし、OSSAで学習した検出器は、その幾何的最適性のためやや低い一般化性能を示した。
• 最大20本のツリーと深さ≤5のランダムフォレスト分類器は安定した性能を示しており、固有値に基づく特徴量の低分散性および頑健性を示している。