[論文レビュー] Adversarial Training with Voronoi Constraints

Marc Khoury, Dylan Hadfield-Menell|arXiv (Cornell University)|May 2, 2019

Adversarial Robustness in Machine Learning参考文献 37被引用数 16

ひとこと要約

本稿では、訓練データ点の周囲のボロノイ胞を用いて従来のノルム球を置き換えることで、ロバスト性を向上させる敵対的訓練を提案する。MNISTではSOTAのロバスト性（NAUC 0.81）を達成し、CIFAR-10でも予め摂動サイズ 𝜖 を指定しなくても競争力ある結果を示す。

ABSTRACT

Adversarial examples are a pervasive phenomenon of machine learning models where seemingly imperceptible perturbations to the input lead to misclassifications for otherwise statistically accurate models. We propose a geometric framework, drawing on tools from the manifold reconstruction literature, to analyze the high-dimensional geometry of adversarial examples. In particular, we highlight the importance of codimension: for low-dimensional data manifolds embedded in high-dimensional space there are many directions off the manifold in which an adversary could construct adversarial examples. Adversarial examples are a natural consequence of learning a decision boundary that classifies the low-dimensional data manifold well, but classifies points near the manifold incorrectly. Using our geometric framework we prove that adversarial training is sample inefficient, and show sufficient sampling conditions under which nearest neighbor classifiers and ball-based adversarial training are robust. Finally we introduce adversarial training with Voronoi constraints, which replaces the norm ball constraint with the Voronoi cell for each point in the training set. We show that adversarial training with Voronoi constraints produces robust models which significantly improve over the state-of-the-art on MNIST and are competitive on CIFAR-10.

研究の動機と目的

• 深層学習モデルが敵対的例に対して普遍的に脆弱である問題、特に高コディメンションの入力空間においての脆弱性を解決すること。
• 高次元空間に埋め込まれた低次元のデータ多様体に基づく幾何学的フレームワークを用いて、敵対的ロバスト性を形式化すること。
• ℓp-ノルム制約を用いた標準的な敵対的訓練が、現実的なデータ環境下でロバストな一般化を達成するのに不十分で、サンプル効率が悪いことの証明。
• ローカルなデータ構造をよりよく捉えるために、ノルム球の代わりにボロノイ胞を用いた、敵対的訓練の新しいパラダイムの提案。
• ボロノイに基づく制約により、事前に摂動サイズ 𝜖 を指定する必要がなくなり、局所的なデータ分布に応じた適応的ロバスト性が可能になることの実証。

提案手法

• 高次元空間に埋め込まれた低次元の多様体としてのデータのマニフォールド仮説を形式化し、敵対的例は高コディメンションに起因するとする。
• 訓練データ点の周囲の ℓp-ノルム球内でのロバスト性を保証する理論的モデル ℒ を定義し、高コディメンションにおけるそのサンプル非効率性を証明する。
• 敵対的訓練における ℓp-ノルム球制約を、各訓練点のボロノイ胞に置き換える。ボロノイ胞は局所的なデータ密度と幾何構造に適応する。
• ボロノイ胞を用いて許容される摂動の集合を定義し、多様体から外れる方向の探索を、データ分布に自然に制約された形で可能にする。
• 標準的な敵対的訓練の目的関数を用いながら、摂動を ℓp-ボールではなくボロノイ胞に制限する。
• MNISTおよびCIFAR-10において、NAUC（正規化された受信器操作特性曲線下の面積）と ℓ∞-摂動レベルを段階的に増加させた際の精度を用いてロバスト性を評価する。

実験結果

リサーチクエスチョン

• RQ1 なぜ敵対的例は高次元モデルにおいて広範にわたって顕在するのか。コディメンションはこの現象にどのように寄与するのか。
• RQ2 高コディメンション設定下で、サンプル非効率性のため、ℓp-ノルム制約を用いた標準的な敵対的訓練がどれほど不十分なのか。
• RQ3 敵対的訓練における ℓp-ノルム球をボロノイ胞に置き換えることで、事前に 𝜖 を指定しなくてもロバスト性が向上するのか。
• RQ4 ボロノイ胞の幾何的構造は、ロバストな一般化のための局所的データ多様体トポロジーを、ノルム球と比較してどれほどよく捉えられるのか。
• RQ5 実世界のデータセット（MNIST や CIFAR-10）において、ボロノイに基づく敵対的訓練を用いる場合、自然な精度とロバスト性のトレードオフはどのようなものか。

主な発見

• ボロノイ制約を用いた敵対的訓練は、MNISTでNAUC 0.81を達成し、Madryベースライン（NAUC 0.67）を著しく上回り、𝜖 = 0.4 でも76.3%の精度を維持する。
• MNISTでは、標準的な 𝜖 = 0.3 を超えて高いロバスト性を維持し、𝜖 = 0.4 を超えると急激に精度が低下する一方で、Madryモデルは 𝜖 = 0.3 ですでに崩壊する。
• 高コディメンション（例：コディメンション 500）では、ボロノイベースの手法がNAUC 0.92を達成し、Madry法（NAUC 0.87）を上回り、極端な状況下でのロバスト性の向上を示す。
• 𝜖 を事前に設定する必要がなく、ボロノイ胞が局所的なデータ構造に適応することで、局所的に変化する摂動スケールに応じたロバスト性が可能になる。
• 𝜖 = 0.4 で ℓ∞-ノルム制約を用いて150エポック訓練すると、元のMadryモデルより [0, 0.3] 範囲でのロバスト性が劣るが、ボロノイベースのモデルは優れた性能（NAUC 0.81 対 0.76）を維持する。
• CIFAR-10では、ボロノイベースとMadry両モデルがNAUC 0.29を達成するが、提案手法は自然な精度を犠牲にしてより大きな摂動に対して強固なロバスト性を実現しており、知られているロバスト性と精度のトレードオフと整合的である。