[論文レビュー] Provable Certificates for Adversarial Examples: Fitting a Ball in the Union of Polytopes

Matt Jordan, Justin Lewis+1 more|arXiv (Cornell University)|Mar 20, 2019

Adversarial Robustness in Machine Learning被引用数 11

ひとこと要約

この論文では、ReLUベースの深層ニューラルネットワークに対するすべての凸lpノルム下での正確なポイントワイズのロバストネスを計算するGeoCertという手法を紹介している。入力点の周囲に存在する最大のlp球がネットワークの予測クラスを保つ範囲を特定することで実現される。多面体複体構造を活用し、収束する正確な値に至るタイトな下界を効率的に計算する。中程度の計算時間で、先行研究を上回るロバストネス境界の品質を達成する。

ABSTRACT

We propose a novel method for computing exact pointwise robustness of deep neural networks for all convex lp norms. Our algorithm, GeoCert, finds the largest lp ball centered at an input point x0, within which the output class of a given neural network with ReLU nonlinearities remains unchanged. We relate the problem of computing pointwise robustness of these networks to that of computing the maximum norm ball with a fixed center that can be contained in a non-convex polytope. This is a challenging problem in general, however we show that there exists an efficient algorithm to compute this for polyhedral complices. Further we show that piecewise linear neural networks partition the input space into a polyhedral complex. Our algorithm has the ability to almost immediately output a nontrivial lower bound to the pointwise robustness which is iteratively improved until it ultimately becomes tight. We empirically show that our approach generates a distance lower bounds that are tighter compared to prior work, under moderate time constraints.

研究の動機と目的

• すべての凸lpノルム下で、ReLUニューラルネットワークの正確なポイントワイズのロバストネスを証明可能に計算する手法の開発。
• 与えられた入力点を中心とする最大のlp球を特定する課題に取り組む。この球は、同じ出力クラスに属する入力の集合内に完全に含まれる。
• 区分線形ネットワークが誘導する多面体複体構造を活用し、ロバストネス証明の効率的計算を可能にする。
• 下界を反復的に改善し、収束するまで正確なロバストネス半径に至る。これにより、正しさと収束性を保証する。

提案手法

• ロバストネス問題を、同じ出力クラスに属する入力の集合を表す非凸多面体に完全に含まれる、入力点を中心とする最大ノルム球の特定問題として定式化する。
• ReLUネットワークが入力空間をこのような構造に分割することを活用し、多面体複体内に含まれる最大のlp球を計算する問題に再定式化する。
• 初期に自明な下界を得てから、凸最適化サブプロブレムの系列を解くことで、段階的に下界をタイトにする反復的改善プロセスを用いる。
• 多面体コンパクトの幾何的性質を活用し、任意のlpノルムに対して最大のlp球を効率的に計算することで、正確なロバストネス証明を可能にする。
• 同じ出力クラスに属する入力の集合が多面体の和集合を形成することに着目し、この和集合内にx₀を中心とする最大の球がロバストネス半径を定義する。
• 計算効率とスケーラビリティを考慮し、時間制約下でも迅速にタイトな境界を提供するように設計されている。

実験結果

リサーチクエスチョン

• RQ1 幾何的アプローチを用いて、すべての凸lpノルム下でReLUネットワークの正確なポイントワイズのロバストネスを計算可能か？
• RQ2 与えられた入力点を中心とする最大のlp球を、同じ出力クラスに属する範囲内に効率的に計算するにはどうすればよいか？
• RQ3 ReLUネットワークのどの構造的性質が、多面体コンパクトを用いた効率的なロバストネス証明を可能にするか？
• RQ4 実用的展開に適した、証明可能に正しいかつ計算効率の良いロバストネス証明を導出可能か？
• RQ5 提案手法は、既存のアプローチと比較して、境界の品質と計算時間の両面で優れているか？

主な発見

• GeoCertは、多面体コンパクトにおける幾何的包含問題を解くことで、すべての凸lpノルム下でReLUネットワークの正確なポイントワイズのロバストネスを計算する。
• 中程度の時間制約下でも、先行研究を上回るタイトなロバストネス下界を生成し、実用的有用性の向上を示している。
• アルゴリズムは、直ちに非自明な下界を得てから、収束するまで反復的に改善を続ける。
• ReLUネットワークが誘導する入力空間の分割は多面体複体を形成し、これによりロバストネス問題の幾何的定式化が可能になる。
• 本手法は一般性に富み、すべてのlpノルムに適用可能であり、さまざまなロバストネス評価設定に広く応用可能である。
• 証明可能に正しい結果が得られ、正確なロバストネス半径に収束するため、証明の信頼性が保証される。