[論文レビュー] Interpreting Adversarial Robustness: A View from Decision Surface in Input Space

Fuxun Yu, Chenchen Liu+3 more|arXiv (Cornell University)|Sep 29, 2018

Adversarial Robustness in Machine Learning参考文献 8被引用数 19

ひとこと要約

本稿では、入力空間における意思決定境界の幾何構造に基づく、新たな敵対的ロバストネス指標を提案する。平坦で滑らかな意思決定境界は、ロバストネスと強く相関していることを示している。訓練中にヤコビ行列を正則化することでこれらの境界を平坦化することで、敵対的訓練を用いずに内在的ロバストネスを向上させ、CIFAR10におけるℓ∞=3攻撃において、敵対的訓練と同等の性能を達成し、訓練のオーバーヘッドを著しく削減した。

ABSTRACT

One popular hypothesis of neural network generalization is that the flat local minima of loss surface in parameter space leads to good generalization. However, we demonstrate that loss surface in parameter space has no obvious relationship with generalization, especially under adversarial settings. Through visualizing decision surfaces in both parameter space and input space, we instead show that the geometry property of decision surface in input space correlates well with the adversarial robustness. We then propose an adversarial robustness indicator, which can evaluate a neural network's intrinsic robustness property without testing its accuracy under adversarial attacks. Guided by it, we further propose our robust training method. Without involving adversarial training, our method could enhance network's intrinsic adversarial robustness against various adversarial attacks.

研究の動機と目的

• パrameter空間における平坦な極小値が一般化およびロバストネスを予測するとする従来の信念に挑戦すること。特に敵対的設定下での有効性を検証する。
• パrameter空間における損失関数の平坦さよりも、入力空間における意思決定境界の幾何的性質が、敵対的ロバストネスのより信頼できる指標であることを特定すること。
• ヤコビ行列およびヘッセ行列の固有値に基づくロバストネス指標を構築し、敵対的テストを要しない内在的ロバストネスの定量的評価を可能とすること。
• この指標に基づいてガイドされたロバストな訓練手法を設計し、敵対的例の生成を回避する勾配正則化により、敵対的ロバストネスを向上させること。

提案手法

• 入力空間における方向の補間に沿った2次元投影を用いて、従来のパrameter空間における損失関数の可視化とは対照的に、入力空間における意思決定境界を可視化する。
• 特にヤコビ行列およびヘッセ行列の固有値に注目し、意思決定境界の幾何的性質に基づくロバストネス指標を定義し、内在的ロバストネスを定量化する。
• 意思決定境界を平坦化するため、ヤコビ行列のℓ1ノルムを正則化する訓練目的関数を提案する。これにより、滑らかな入力空間の幾何構造が得られ、ロバストネスが向上する。
• 局所的な挙動をモデル化するためのテイラー展開を用い、敵対的例の生成を伴わずに勾配に基づく正則化を可能にする。
• 標準データセット（MNIST、CIFAR10）を用い、自然訓練、敵対的訓練、および本稿で提案する勾配正則化訓練を比較する。
• 意思決定境界およびヤコビ行列マップの可視化を通じて、本手法の有効性を検証し、ロバストモデルでは感度が低下し、局所的な近傍がより平坦であることを示す。

実験結果

リサーチクエスチョン

• RQ1 入力空間における意思決定境界の幾何構造は、パラメータ空間における損失関数の平坦さよりも、敵対的ロバストネスと強く相関しているか？
• RQ2 FGSM、PGD、C&Wといった多様な敵対的攻撃手法が共通して利用する幾何的メカニズムは何か？
• RQ3 ヤコビ行列およびヘッセ行列の固有値から導出されるロバストネス指標は、敵対的例のテストを要せず、敵対的ロバストネスを予測できるか？
• RQ4 訓練プロセスにおける勾配正則化により、敵対的例の生成を伴わずして敵対的ロバストネスを向上させることができるか？
• RQ5 本手法は、最先端の敵対的訓練と比較して、ロバストネスおよび訓練効率の点で優れているか？

主な発見

• 敵対的ノイズ下では入力空間における意思決定境界に顕著な非滑らかさが見られる一方で、パラメータ空間における損失関数の平坦さは維持される。これは、パラメータ空間の平坦さがロバストネスを予測できないことを示している。
• 敵対的攻撃は意思決定境界の幾何的性質を狙っている。具体的には、局所的な曲率と勾配の方向を活用して、境界を横断する最短経路を特定する。
• ヤコビ行列およびヘッセ行列の固有値に基づく本稿で提案するロバストネス指標は、敵対的テストを要せず、内在的ロバストネスを効果的に予測できる。
• 本手法による勾配正則化により、自然モデルと比較してヤコビ行列のℓ1ノルムが10倍小さくなり、ヘッセ行列も3倍小さくなる。その結果、意思決定境界がより平坦になる。
• CIFAR10においてℓ∞=3の条件下で、本手法はMin-Max敵対的訓練（約40%の精度）と同等のロバストネスを達成したが、1エポックあたりの訓練時間は2.1倍に留まり、敵対的データ増強による10倍のオーバーヘッドを回避した。
• 大きなℓ∞ノルムでは本手法の性能が低下する。これは、テイラー展開の有効範囲が広い近傍では成立しないため、制限要因であることを示している。