[論文レビュー] Strengthened SDP Verification of Neural Network Robustness via Non-Convex Cuts.

Ziye Ma, Somayeh Sojoudi|arXiv (Cornell University)|Oct 16, 2020

Adversarial Robustness in Machine Learning参考文献 9被引用数 5

ひとこと要約

本稿では、分岐プログラミングを介して逐次的に非凸カットを追加することにより、ニューラルネットワークのロバストネス検証における緩められたギャップを低減する順次半定値プログラミング（SDP）手法を提案する。この手法は、カットの数が増えるにつれて検証の正確性を向上させ、境界を厳しくする。安全性が求められるAIシステムのためのより強固な認証フレームワークを提供する。

ABSTRACT

There have been major advances on the design of neural networks, but still they cannot be applied to many safety-critical systems due to the lack of efficient computational techniques to analyze and certify their robustness. Recently, various methods based on convex optimization have been proposed to address this issue. In particular, the semidefinite programming (SDP) approach has gained popularity in convexifying the robustness analysis problem. Since this approach is prone to a large relaxation gap, this paper develops a new technique to reduce the gap by adding non-convex cuts via disjunctive programming. The proposed method amounts to a sequential SDP technique. We analyze the performance of this method both theoretically and empirically, and show that it bridges the gap as the number of cuts increases.

研究の動機と目的

• 安全性が求められるニューラルネットワークにおけるロバストネスを検証するという、深刻な課題に対処すること。既存の手法は大きな緩められたギャップに苦しんでいる。
• ロバストネス検証のための半定値プログラミング（SDP）手法に内在する緩められたギャップを低減すること。これは実用的な正確性を制限する要因である。
• 分岐プログラミングを用いて非凸カットを統合することにより、SDPに基づく検証を強化するスケーラブルで効果的な技術を開発すること。
• 緩められたSDPの境界と真のロバストネスの間の理論的・実証的ギャップを、反復的精錬によって最適化の地形を改善することで埋めること。

提案手法

• 本手法は、分岐プログラミングから導かれる非凸カットを導入し、ニューラルネットワークのロバストネス問題のSDP緩めを厳しくする。
• カットを段階的に追加することで、緩められたギャップを段階的に低減する順次SDPアプローチを定式化する。
• 各カットは活性化パターンに関する分岐から導かれる。非凸制約を捉え、緩めの厳密性を向上させる。
• アルゴリズムはSDP部分問題の解法と、破綻した分岐制約の特定を交互に繰り返し、新たなカットを生成する。
• 収束するか、所望の緩められたギャップの境界に達するまでこのプロセスを繰り返す。
• 本手法は、カット生成を通じて非凸構造的情報を組み込む一方で、SDP部分問題の凸性を維持する。

実験結果

リサーチクエスチョン

• RQ1 SDPに基づくニューラルネットワークのロバストネス検証における緩められたギャップを、体系的に低減する方法は何か？
• RQ2 分岐プログラミングから導かれる非凸カットは、SDP緩めの厳密性をどの程度向上させるか？
• RQ3 カットの逐次的追加は、ロバストネス認証の収束性と正確性にどのように影響するか？
• RQ4 提案手法は、計算上の実行可能性を損なわずに、標準的なSDP手法よりも強力な検証保証を達成できるか？

主な発見

• 提案手法は、反復的に非凸カットを追加することにより、SDPに基づくロバストネス検証における緩められたギャップを効果的に低減した。
• カットの数が増えるにつれて、検証境界が段階的に厳しくなり、真のロバストネスマージンに近づく。
• 理論的分析により、提案されたカット生成スキームの下で、SDP緩めの系列がより厳密な境界に収束することが確認された。
• 実証的評価では、特に深層またはより複雑なネットワークにおいて、ベースラインSDP手法に比べて優れた検証性能を示した。
• 計算の実行可能性を維持しつつ、認証正確性の面で標準的なSDP緩めを顕著に上回った。
• 反復的カット生成プロセスは、凸緩めのみで捉えきれない非凸活性化パターンを効果的に捉えていた。