[論文レビュー] Formal Guarantees on the Robustness of a Classifier against Adversarial Manipulation

Matthias Hein, Maksym Andriushchenko|arXiv (Cornell University)|May 23, 2017

Adversarial Robustness in Machine Learning参考文献 1被引用数 146

ひとこと要約

本論文は分類器に対するインスタンス固有の形式的ロバスト性保証を提供し、カーネル法とニューラルネットワークのロバスト性を高めるための Cross-Lipschitz Regularization を導入する。

ABSTRACT

Recent work has shown that state-of-the-art classifiers are quite brittle, in the sense that a small adversarial change of an originally with high confidence correctly classified input leads to a wrong classification again with high confidence. This raises concerns that such classifiers are vulnerable to attacks and calls into question their usage in safety-critical systems. We show in this paper for the first time formal guarantees on the robustness of a classifier by giving instance-specific lower bounds on the norm of the input manipulation required to change the classifier decision. Based on this analysis we propose the Cross-Lipschitz regularization functional. We show that using this form of regularization in kernel methods resp. neural networks improves the robustness of the classifier without any loss in prediction performance.

研究の動機と目的

• 安全 critical なシステムにおける adversarial 入力の変化に対する形式的なロバスト性保証の必要性を動機づける。
• 分類器の決定を変更するのに必要な入力摂動のインスタンス固有の下限を導出する。
• 精度を犠牲にせずロバスト性を高める Cross-Lipschitz 正規化汎関数を提案する。
• カーネル法とニューラルネットワークに対する境界の評価手法を説明する。
• ロバスト性を評価するためのボックス制約付き敵対サンプル生成の実用的手法を提供する。

提案手法

• クラススコアの局所的 Cross-Lipschitz 定数に基づき、摂動ノルムが alpha によって下から拘束されるインスタンス固有のロバスト性境界を導出する。
• ガウスカーネルを用いたカーネル法に対して境界を特化し、局所的 Cross-Lipschitz項を推定する扱いやすい式を提供する。
• 1つの隠れ層と微分可能な活性化を持つニューラルネットワークに対して境界を特化し、計算可能な Cross-Lipschitz境界を求める。
• 訓練点におけるクラス出力間の勾配の差を最小化する Cross-Lipschitz Regularization 汎関数 Omega(f) を導入する。
• 訓練損失に lambda 倍の Omega(f) を加えた最小化が、誤分類に必要な最小摂動を増加させることでロバスト性を促進することを示す。
• 一階近似を用いて p ∈ {1,2,∞} に対して O(d log d) 時間でボックス制約付き敵対サンプルを生成するアルゴリズムを提供する。

実験結果

リサーチクエスチョン

• RQ1 分類器の決定が変わらないことを保証する入力摂動ノルムのインスタンス固有の下限は何か。
• RQ2 異なる分類器ファミリに対して局所的 Cross-Lipschitz 定数を計算・厳密化して意味のあるロバスト性保証を得るには、
• RQ3 Cross-Lipschitz Regularization はカーネル法とニューラルネットワークの予測性能の最小の損失でロバスト性を改善できるか。
• RQ4 導出したロバスト性保証を評価するために、ボックス制約下で敵対サンプルを効果的に生成するにはどうすればよいか。
• RQ5 提案された境界と正規化は、従来のグローバル Lipschitz アプローチより厳密な保証をもたらすか。

主な発見

• 正式なインスタンス固有のロバストネス境界を導出し、入力周りのボール内で決定が変わらないことを保証する。
• ガウスカーネルを用いるカーネル法では、境界は訓練データ、カーネル微分、局所 Lipschitz 項を含む計算可能な式に簡略化される。
• 1隠れ層のニューラルネットワークについて、ネットワーク重みと活性化微分を用いて Cross-Lipschitz 項の計算可能な境界を導出する。
• Cross-Lipschitz Regularization Omega(f) を提案し、精度と同等程度を維持しつつロバストネス保証を改善することを示す。
• p = 1, 2, ∞ に対して O(d log d) 時間でボックス制約付き敵対サンプルを生成でき、ロバスト性の実用的な評価と境界の緊密さを可能にする。