[論文レビュー] Semidefinite relaxations for certifying robustness to adversarial examples

Aditi Raghunathan, Jacob Steinhardt+1 more|arXiv (Cornell University)|Nov 2, 2018

Adversarial Robustness in Machine Learning被引用数 210

ひとこと要約

本論文は、対向摂動に対する任意のReLUネットワークの頑健性を認証するための半正定値プログラミング（SDP）緩和を導入し、以前のLPベース緩和より厳密な境界を示し、いくつかのネットワークにおいて意味のある非自明な証明を提供する。

ABSTRACT

Despite their impressive performance on diverse tasks, neural networks fail catastrophically in the presence of adversarial inputs---imperceptibly but adversarially perturbed versions of natural inputs. We have witnessed an arms race between defenders who attempt to train robust networks and attackers who try to construct adversarial examples. One promise of ending the arms race is developing certified defenses, ones which are provably robust against all attackers in some family. These certified defenses are based on convex relaxations which construct an upper bound on the worst case loss over all attackers in the family. Previous relaxations are loose on networks that are not trained against the respective relaxation. In this paper, we propose a new semidefinite relaxation for certifying robustness that applies to arbitrary ReLU networks. We show that our proposed relaxation is tighter than previous relaxations and produces meaningful robustness guarantees on three different "foreign networks" whose training objectives are agnostic to our proposed relaxation.

研究の動機と目的

• 対向摂動に対する確証付き防御の必要性を喚起する
• ReLUネットワークの敵対者による最悪ケース損失を上界する凸 SDP ベースの緩和を開発する
• SDP 緩和が LP 緩和より厳密な頑健性証明を現実のネットワークで得られることを実証する
• さまざまな頑健目的で訓練されたネットワークでも SDP アプローチ下で意味のある証明を受け取ることができることを示す
• SDP 証明を多層ネットワークへ適用する実用的な指針を提供し、他の検証法と比較する

提案手法

• ReLUと攻撃制約を用いて最悪ケースマージン最大化を QCQP として表現する
• P = vv^T のモノミアル行列を導入し P ≽ 0 および線形/二次制約を課して QCQP を SDP に緩和する
• 1層 SDP を多層ネットワークへ一般化し、層ごとの ReLU 制約と中間活性化の伝搬境界を積み重ねていく
• 単純な区間算術を用いて中間活性化の境界を導出し SDP を引き締める（l^i, u^i）境界
• SDP のガイダンスを LP 緩和と比較し、結合した活性化の推論と多ユニット設定でのより厳密な境界を強調
• MNIST の Grad-NN, LP-NN, PGD-NN で訓練したネットワークを用いて ε = 0.1 の l∞-ノルム攻撃下で頑健性を証明
• 区間ベースの境界を用いて実用的な証明書を得る（SDP-cert）し LP-cert および Grad-cert と比較

実験結果

リサーチクエスチョン

• RQ1 SDP ベースの緩和は ReLU ネットワークの頑健性証明を LP 緩和より厳密にできるか？
• RQ2 SDP 証明は特に認証のために訓練されていないネットワークに意味のある非自明な保証を提供するか？
• RQ3 多層ネットワークへ SDP 緩和はどの程度スケールし、中間活性化の境界は厳密さにどう影響するか？
• RQ4 SDP による証明可能な保護は MNIST のような標準ベンチマークにおける同時検証アプローチとどう比較されるか？

主な発見

ネットワーク	SDP-cert	LP-cert	Grad-cert
Grad-NN	20%	97%	35%
LP-NN	20%	22%	93%
PGD-NN	18%	100%	n/a

• SDP-cert はtested networks に非自明な頑健性証明を一貫して提供し、ε=0.1 で 18% の境界を持つ四層の PGD-訓練モデルを含む。
• Grad-NN と LP-NN で SDP-cert は従来の証明境界を改善または一致させる（例：Grad-NN は非証明率を 35% から 20% に、LP-NN は 22% から 20% に）
• 多層ネットワークでは LP-cert はしばしば SDP-cert を下回り、結合した活性化相互作用を捉えられないため
• tested networks に対して、 SDP-cert は LP-cert および Grad-cert よりも一貫して小さな非証明分を達成（例：Grad-NN: 20% vs 97% vs 35%; LP-NN: 20% vs 22% vs 93%; PGD-NN: 18% vs 100% vs n/a）
• 幾何学的解釈は SDP が層を横断して活性化を結合することで緊締する一方、LP はユニットを独立的に扱う
• 計算時間: 提案手法の SDP 解法は例ごとあたり約25分、報告実験では LP は約5分