[論文レビュー] On Robustness to Adversarial Examples and Polynomial Optimization

Pranjal Awasthi, Abhratanu Dutta+1 more|arXiv (Cornell University)|Nov 12, 2019

Adversarial Robustness in Machine Learning被引用数 17

ひとこと要約

この論文は、敵対的ロバストネスと多項式最適化の強い関係を確立し、線形分類器および2次多項式しきい値関数（PTF）のための、証明可能な時間内に実行可能な学習および認証のための最初のアルゴリズムを可能にした。半定値計画法（SDP）を用いた凸緩和フレームワークを導入し、効率的な敵対的攻撃とロバストネスの認証を可能にした。PGDベースの手法に比べ、これまで発見されなかった敵対的例を効果的に発見できた。

ABSTRACT

We study the design of computationally efficient algorithms with provable guarantees, that are robust to adversarial (test time) perturbations. While there has been an proliferation of recent work on this topic due to its connections to test time robustness of deep networks, there is limited theoretical understanding of several basic questions like (i) when and how can one design provably robust learning algorithms? (ii) what is the price of achieving robustness to adversarial examples in a computationally efficient manner? The main contribution of this work is to exhibit a strong connection between achieving robustness to adversarial examples, and a rich class of polynomial optimization problems, thereby making progress on the above questions. In particular, we leverage this connection to (a) design computationally efficient robust algorithms with provable guarantees for a large class of hypothesis, namely linear classifiers and degree-2 polynomial threshold functions (PTFs), (b) give a precise characterization of the price of achieving robustness in a computationally efficient manner for these classes, (c) design efficient algorithms to certify robustness and generate adversarial attacks in a principled manner for 2-layer neural networks. We empirically demonstrate the effectiveness of these attacks on real data.

研究の動機と目的

• 敵対的ロバストな学習アルゴリズムを設計する際の計算的トレードオフを理解すること。
• 敵対的摂動に対して証明可能な保証を持つ多項式時間アルゴリズムを、ロバストネスのための開発に向けたこと。
• 特定の関数クラスに対して、効率的にロバストネスを達成する際のコストを特定すること。
• 2層ニューラルネットワークにおける敵対的攻撃の生成とロバストネスの認証の両方のための効率的アルゴリズムを設計すること。
• 敵対的ロバストネスを多項式最適化問題に統一的に関連付けるフレームワークの構築すること。

提案手法

• 著者らは、敵対的ロバストネスを多項式最適化問題としてモデル化した：||z||∞ ≤ δ の制約下で、1次または2次多項式 g(x+z) を最大化する。
• ℓ∞制約を乗数因子 γ ≥ 1 を許容することで緩和し、半定値計画法（SDP）による凸緩和を可能にした。
• SDP緩和により、真の最適解 z* に対して g(x + ẑ) ≥ g(x + z*) を満たす ẑ が得られ、||ẑ||∞ ≤ γδ を満たす。
• この緩和により、効率的な敵対的攻撃生成が可能になった：解が存在すれば、緩和された ℓ∞ 球内に敵対的例が特定される。
• 解が得られなければ、元の δ-球内には敵対的例が存在しないことが証明可能となる。
• このフレームワークは、攻撃アルゴリズムを学習ループに組み込むことで、ロバスト学習に拡張され、(δ/γ)-ロバスト誤差保証が得られる。

実験結果

リサーチクエスチョン

• RQ1 線形および2次分類器に対して、敵対的摂動に対して証明可能なロバストネスを有する多項式時間アルゴリズムを設計できるか？
• RQ2 計算的に効率的な方法で敵対的ロバストネスを達成する際の計算コストは何か？
• RQ3 多項式最適化を用いて、証明可能な認証可能な敵対的攻撃とロバストネスの証明を設計できるか？
• RQ4 敵対的ロバストネスと多項式最適化の関係を活用し、PGDを上回る攻撃成功率を達成できるか？
• RQ5 このフレームワークを高次多項式しきい値関数やより深いネットワークにどの程度まで拡張できるか？

主な発見

• 提案されたSDPベースの攻撃は、δ=0.3のときPGDに失敗した例に対して99％のリコールを達成し、PGDが見逃していた敵対的例を発見した。
• δ=0.01のとき、PGDが失敗した最初の100例のうち45例の新たな敵対的例を同定した。
• 攻撃はスパースで標的型の敵対的例を生成し、PGDのより均一な摂動とは構造が異なる。
• アルゴリズムは証明可能なロバストネスの認証を提供する：解が存在しない場合、δ-ℓ∞近傍内には敵対的例が存在しない。
• このフレームワークにより、1次および2次PTFのための、(δ/γ)-ロバスト誤差保証を持つ最初の多項式時間ロバスト学習アルゴリズムが実現された。
• SDP緩和は、入力xに依存するため、先行研究よりも厳密に強く、より良い証明をもたらす。