[論文レビュー] Robustness of classifiers: from adversarial to random noise

Alhussein Fawzi, Seyed-Mohsen Moosavi-Dezfooli+1 more|arXiv (Cornell University)|Aug 31, 2016

Adversarial Robustness in Machine Learning参考文献 17被引用数 119

ひとこと要約

本論文は、ランダムな摂動と敵対的摂動を補間する半ランダムノイズ領域の下での分類器の頑健性を分析し、頑健性の境界曲率およびデータ次元・サブ空間次元に依存する境界を示し、深層ネットにおける経験的妥当性を確認する。

ABSTRACT

Several recent works have shown that state-of-the-art classifiers are vulnerable to worst-case (i.e., adversarial) perturbations of the datapoints. On the other hand, it has been empirically observed that these same classifiers are relatively robust to random noise. In this paper, we propose to study a extit{semi-random} noise regime that generalizes both the random and worst-case noise regimes. We propose the first quantitative analysis of the robustness of nonlinear classifiers in this general noise regime. We establish precise theoretical bounds on the robustness of classifiers in this general regime, which depend on the curvature of the classifier's decision boundary. Our bounds confirm and quantify the empirical observations that classifiers satisfying curvature constraints are robust to random noise. Moreover, we quantify the robustness of classifiers in terms of the subspace dimension in the semi-random noise regime, and show that our bounds remarkably interpolate between the worst-case and random noise regimes. We perform experiments and show that the derived bounds provide very accurate estimates when applied to various state-of-the-art deep neural networks and datasets. This result suggests bounds on the curvature of the classifiers' decision boundaries that we support experimentally, and more generally offers important insights onto the geometry of high dimensional classification problems.

研究の動機と目的

• ランダム摂動と敵対的摂動を補間するノイズ領域下での頑健性を動機づけ、形式化する。
• 2クラスおよび多クラスの意思決定境界を分析するための曲率に基づく枠組みを定義する。
• データ次元とサブスペース次元の観点から半ランダム頑健性と敵対的頑健性を結ぶ境界を導出する。
• 半ランダムノイズモデル内で非線形分類器およびアフィン分類器に対する理論的保証を提供する。
• 最先端の深層ネットワークで理論的境界を経験的に検証し、境界曲率を可視化する。

提案手法

• 予測ラベルを変えるサブスペースS内の最小摂動を頑健性 r_S^* と定義する。
• サブスペース次元 m とランダムサブスペース選択を介して、ランダムノイズ領域と半ランダムノイズ領域を導入する。
• アフィン分類器の境界に対して、r_S^* が adversarial perturbation r^* の sqrt(d/m) 倍のスケールで変化することを示す境界を導出する。
• ペアワイズ決定境界の曲率指標を用いて非線形分類器へ拡張し、小さな曲率の下で同様の界を証明する。
• 境界に沿う内接円に基づく曲率 κ(B_{i,j}) を定義・分析する。
• ランダム/半ランダム頑健性の境界が多クラス設定で成り立つことを保証するコロラリーと実用的な曲率条件を提示する。

実験結果

リサーチクエスチョン

• RQ1 アフィン分類器および非線形分類器に対するランダムおよび半ランダムノイズ下の頑健性は、敵対的頑健性とどのように関連するか？
• RQ2 ペアワイズ決定境界の曲率が半ランダム頑健性の境界付けにおいてどのような役割を果たすか？
• RQ3 サブスペース次元 m を介して、ランダムノイズ頑健性と最悪ケース頑健性の間を補間できるか？
• RQ4 実証的な深層ネットワークは、データセットを横断して予測された曲率関連の頑健性特性を示すか？
• RQ5 理論的境界を支持するために、境界の曲率をどのように可視化・推定できるか？

主な発見

• 境界の曲率が小さい場合、アフィン分類器のランダムノイズに対する頑健性は、おおむね sqrt(d) 倍の敵対距離でスケールする。
• 半ランダム領域では、頑健性は sqrt(d/m) 倍の敵対距離にスケールし、ランダム領域と最悪ケース領域の間を補間する。
• 非線形分類器では、ペアワイズ境界の曲率 κ(B_{i,j}) が有界であるという条件の下で頑健性の境界が成り立つ。
• 近似クラス境界の曲率制約があると、r_S^* は sqrt(d/m) 倍の r^* の定数倍の範囲に収まり、線形ケースと同様である、という系が示される。
• 最先端ネットワーク（例: VGG-F, VGG-19, LeNet 系）での実験は、さまざまな m/d 設定で予測された beta(f;m) 値がほぼ 1 に近く、理論を裏付ける。
• ビジュアライゼーションは、結節点を除けば曲率が小さいことを示しており、曲率ベースの仮定と一致する。