[論文レビュー] Certifying Some Distributional Robustness with Principled Adversarial Training

Aman Sinha, Hongseok Namkoong+2 more|arXiv (Cornell University)|Oct 29, 2017

Adversarial Robustness in Machine Learning参考文献 64被引用数 345

ひとこと要約

本論文は、ワッサースタイン球とラグランジュ代替手法を用いた分布的頑健化最適化フレームワークを提案し、原則的な対抗的訓練を実装し、滑らかな損失関数に対する収束保証と頑健性証明を提供します。

ABSTRACT

Neural networks are vulnerable to adversarial examples and researchers have proposed many heuristic attack and defense mechanisms. We address this problem through the principled lens of distributionally robust optimization, which guarantees performance under adversarial input perturbations. By considering a Lagrangian penalty formulation of perturbing the underlying data distribution in a Wasserstein ball, we provide a training procedure that augments model parameter updates with worst-case perturbations of training data. For smooth losses, our procedure provably achieves moderate levels of robustness with little computational or statistical cost relative to empirical risk minimization. Furthermore, our statistical guarantees allow us to efficiently certify robustness for the population loss. For imperceptible perturbations, our method matches or outperforms heuristic approaches.

研究の動機と目的

• ニューラルネットワークにおける分布シフトと対抗的摂動に対する頑健性を動機づける。
• 最悪ケースの摂動を組み込んだ効率的な訓練手順を開発する。
• 母集団損失に対する収束保証と頑健性証明を提供する。
• 滑らかな損失関数を持つ不可知知覚的摂動に対する実用的な頑健性保証を可能にする。

提案手法

• θで最小化し、ワッサースタイン球内のPに対する期待損失の全域最大値を取る分布的頑健化最適化問題を定式化する。
• 制約付き問題をラグランジュ緩和により、頑健な代替手段 φγ(θ; z0)=supz{ℓ(θ; z)−γ c(z, z0)} に置換する。
• 滑らかな損失と十分に大きな γ のとき、内部最大化は z に対して強く凹な問題となり、効率的な最適化を可能にする。
• データ依存の頑健性証明を提供し、最悪ケースの母集団損失を上側に境界づける。
• 内ループ内で z をサンプリングして z に対するおおよそ最大化を交互に行い、その後パラメータ更新を行う確率的勾配法訓練アルゴリズム（Algorithm 1）を提案する。
• γ≥Lzz のとき非凸損失設定に対する収束保証を確立し、標準 SGD に類似した収束レートを示す。

実験結果

リサーチクエスチョン

• RQ1 ワッサースタインに基づく分布的頑健フレームワークは、対抗的摂動下でニューラルネットワークに対する証明可能な頑健保証をもたらすことができるだろうか？
• RQ2 実務上、特に滑らかな損失について、頑健代替 φγ(θ; z0) をどのように効率的に計算・最適化できるか？
• RQ3 提案されたペナルティベースの頑健最適化に対して、どのような収束保証と頑健性証明を確立できるだろうか？
• RQ4 実験結果は、不可知知覚的摂動への防御と対抗的攻撃下での競合的性能を示しているか？

主な発見

• 頑健代替 φγ(θ; z0) は微分可能で、計算可能な勾配を持ち、実用的な訓練を可能にする。
• 滑らかな損失と十分に大きな γ のとき、内部最大化は z に対して強く凹で、最適化を扱いやすくする。
• 提案手法は、非凸損失に対して標準的な SGD にほぼ等しいレートで収束保証を達成する。
• フレームワークは、ワッサースタイン近傍における最悪損失のデータ依存の上限（証明書）を効率的に計算可能に提供する。
• 実証的には、本手法は不可知知覚的 adversarial 摂動に対して防御し、いくつかの攻撃において最先端の性能に匹敵するかそれを上回る。
• 実行時間分析では、ER M よりおおよそ 5–10 倍長くなるが、実用的で他の対抗訓練法と競争力がある。