[論文レビュー] Hold me tight! Influence of discriminative features on deep network boundaries

Guillermo Ortiz-Jiménez, Apostolos Modas+2 more|arXiv (Cornell University)|Feb 15, 2020

Adversarial Robustness in Machine Learning参考文献 42被引用数 11

ひとこと要約

この論文は、入力空間における直交部分空間（例：周波数帯域）に沿ってサンプルを摂動することで、学習データ内の判別的特徴が深層ニューラルネットワークの意思決定境界にどのように影響を与えるかを分析する新規フレームワークを導入する。その結果、意思決定境界は小さな学習サンプルの摂動、特に高周波数方向に対して極めて感受性が高く、 adversarial training がこの感受性を利用することで不変性を強制し、一般化を維持したままロバスト性を向上させることを明らかにする。

ABSTRACT

Important insights towards the explainability of neural networks reside in the characteristics of their decision boundaries. In this work, we borrow tools from the field of adversarial robustness, and propose a new perspective that relates dataset features to the distance of samples to the decision boundary. This enables us to carefully tweak the position of the training samples and measure the induced changes on the boundaries of CNNs trained on large-scale vision datasets. We use this framework to reveal some intriguing properties of CNNs. Specifically, we rigorously confirm that neural networks exhibit a high invariance to non-discriminative features, and show that the decision boundaries of a DNN can only exist as long as the classifier is trained with some features that hold them together. Finally, we show that the construction of the decision boundary is extremely sensitive to small perturbations of the training samples, and that changes in certain directions can lead to sudden invariances in the orthogonal ones. This is precisely the mechanism that adversarial training uses to achieve robustness.

研究の動機と目的

• 学習データ内の判別的特徴が深層ネットワークの意思決定境界の幾何にどのように影響を与えるかを理解すること。
• 意思決定境界が入力空間内の特定の方向（特に異なる周波数帯域）における小さなサンプル摂動に対してどれほど感受性であるかを調査すること。
• adversarial training がロバスト性をどのように向上させるかを、境界の幾何と不変性への影響を分析することで説明すること。
• 入力空間内の直交方向に沿ったマージン分布を測定・解釈するための新しいフレームワークを提供すること。

提案手法

• 著者らは、入力空間のDCTベースの基底分解を用いて、直交方向に沿ったマージン（意思決定境界までの距離）を計算する手法を開発した。
• 特定の部分空間（例：低周波数対高周波数DCT成分）に沿って学習サンプルを摂動し、それによる意思決定境界の幾何的変化を測定した。
• 入力の周波数コンテンツを反転させる「周波数反転」データ拡張技術を用い、判別的特徴の制御されたアブレーションを可能にした。
• 複数のデータセット（CIFAR-10、ImageNet、MNIST）において、標準的および adversarially トレーニングされたモデルのマージン分布をフレームワークで評価した。
• ℓ₂-PGD adversarial 攻撃を用いて、予測を反転させるために必要な最小摂動を測定し、周波数帯域に分解した。
• 部分空間ごとのマージン分布の統計的分析により、データ特徴と関連した不変性と感受性のパターンを同定した。

実験結果

リサーチクエスチョン

• RQ1 深層ネットワークの意思決定境界のマージンは、学習データに存在する判別的特徴とどのように関係しているか？
• RQ2 意思決定境界は、入力空間の特定の方向における小さな摂動に対して、どの程度感受性を示すか？
• RQ3 なぜ adversarial training は顕著にロバスト性を向上させるのか？ また、それは意思決定境界の幾何にどのように影響を与えるか？
• RQ4 制御されたデータ摂動を用いて、深層ネットワークが非判別的特徴に対して不変であることを厳密に確認できるか？

主な発見

• 標準的なCNNの意思決定境界は、高周波数部分空間における小さな摂動に対して極めて感受性が高く、これらの方向には最小限のマージンが存在する。
• adversarial training は、標準モデルです already 大きなマージンを有する高周波数部分空間においても、マージンを顕著に増加させた。
• ネットワークは非判別的特徴に対して強い不変性を示し、深層ネットワークがこのようなノイズを無視することで一般化が良好に達成されるという一般的な認識を裏付けた。
• ある方向（例：高周波数）に沿って学習サンプルを摂動することで、直交方向に急激な不変性が誘発されることがあり、これは adversarial training が利用する重要なメカニズムを示している。
• 学習データを「周波数反転」すると、マージン分布もそれに応じて反転するため、観察されたパターンがデータの周波数コンテンツに直接関連していることが確認された。
• ランダムな正規直交基底を用いる場合、意味のあるマージン差は明らかにならず、DCT基底が判別的特徴と非判別的特徴の方向を特定するために不可欠であることを証明した。