[論文レビュー] On the Tightness of Semidefinite Relaxations for Certifying Robustness to Adversarial Examples

Richard Y. Zhang|arXiv (Cornell University)|Jun 11, 2020

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿は、ReLUニューラルネットワークにおけるロバストネスの証明のための半定値計画（SDP）緩和のタイトさを分析する幾何的枠組みを導入する。緩和が正確である（すなわち、全般的に最適な敵対的摂動を生成する）ことを、単一隠れ層ネットワークにおいては弱い条件下で証明し、点が非凸な放物面に射影される様子を分析することで、深層ネットワークではなぜ緩和が保守的になるかを説明する。

ABSTRACT

The robustness of a neural network to adversarial examples can be provably certified by solving a convex relaxation. If the relaxation is loose, however, then the resulting certificate can be too conservative to be practically useful. Recently, a less conservative robustness certificate was proposed, based on a semidefinite programming (SDP) relaxation of the ReLU activation function. In this paper, we describe a geometric technique that determines whether this SDP certificate is exact, meaning whether it provides both a lower-bound on the size of the smallest adversarial perturbation, as well as a globally optimal perturbation that attains the lower-bound. Concretely, we show, for a least-squares restriction of the usual adversarial attack problem, that the SDP relaxation amounts to the nonconvex projection of a point onto a hyperbola. The resulting SDP certificate is exact if and only if the projection of the point lies on the major axis of the hyperbola. Using this geometric technique, we prove that the certificate is exact over a single hidden layer under mild assumptions, and explain why it is usually conservative for several hidden layers. We experimentally confirm our theoretical insights using a general-purpose interior-point method and a custom rank-2 Burer-Monteiro algorithm.

研究の動機と目的

• ReLU活性化関数の半定値計画（SDP）緩和が、いつ正確なロバストネス証明をもたらすかを理解すること。
• 深層ニューラルネットワークにおける保守的かつ正確なロバストネス証明のギャップを解消すること。
• SDP緩和がタイトであるかどうか、すなわち敵対的攻撃問題におけるグローバル最適性に到達しているかを特定するための幾何的手法を開発すること。
• SDPベースの証明が、従来の手法よりも保守的でないにもかかわらず、なぜ深層ネットワークではしばしば保守的になるのかを説明すること。

提案手法

• 敵対的攻撃問題を最小二乗最適化として定式化し、非凸射影問題の系列に分解する。
• 最終的な緩和ステップを、高次元空間における放物面への非凸射影としてモデル化する。
• SDP緩和のタイトさは、この射影が放物面の主要軸上にあるかどうかに依存する。
• ランク2のBurer-Monteiro因子分解を用いて非凸問題を効率的に解き、非直交成分の残差がゼロであることでグローバル最適性を検出する。
• 行列補完と低ランク最適化の理論的結果を応用し、正確解が因子化空間におけるランク1解に対応することを証明する。
• 内点法と複数回のランダムリスタートを伴う独自のランク2 Burer-Monteiroアルゴリズムを用いて、手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 ReLU活性化関数のSDP緩和が、敵対的ロバストネス証明においていつタイトになるか、幾何的条件は何か。
• RQ2 SDPベースの証明はなぜ従来の手法よりも保守的でないのか、そしていつ正確でなくなるのか。
• RQ3 射影された点の放物面の主要軸からの相対的位置関係によって、SDP緩和のタイトさを特徴づけられるか。
• RQ4 ネットワークの重みとバイアスに弱い仮定をおくと、単一隠れ層ReLUネットワークにおけるSDP緩和は正確か。
• RQ5 複数の隠れ層をもつ深層ネットワークでは、なぜSDP証明の保守的特性が高まるのか。

主な発見

• 弱い仮定のもとで、単一隠れ層ReLUネットワークにおけるSDP緩和は正確であり、最適点の射影が放物面の主要軸上にあることによって裏付けられる。
• SDP緩和がタイトであることは、非凸射影問題の解が放物面の主要軸上にあることに等しい。
• 深層ネットワークでは、射影が通常主要軸上にないため、観察されたSDP証明の保守的特性が説明できる。
• 実験結果により、SDP緩和がタイトな場合、ランク2 Burer-Monteiroアルゴリズムが一貫してランク1解に収束することが確認され、グローバル最適性を示している。
• 緩和が緩い場合、非直交成分がゼロでない解にしばしば収束するため、部分最適性が示唆される。
• 幾何的特徴付けにより、SDPベースのロバストネス証明において単層ネットワークと多層ネットワークの間で実用的性能に差が出る理由が理論的に説明できる。