[論文レビュー] The Convex Relaxation Barrier, Revisited: Tightened Single-Neuron Relaxations for Neural Network Verification

Christian Tjandraatmadja, Ross Anderson+4 more|arXiv (Cornell University)|Jun 24, 2020

Adversarial Robustness in Machine Learning参考文献 48被引用数 38

ひとこと要約

より厳密な単一ニューロン凸緩和を導入し、多変量の事前活性入力を考慮することで、LPと伝搬法による検証を強化し、従来のDelta緩和の壁を超える。

ABSTRACT

We improve the effectiveness of propagation- and linear-optimization-based neural network verification algorithms with a new tightened convex relaxation for ReLU neurons. Unlike previous single-neuron relaxations which focus only on the univariate input space of the ReLU, our method considers the multivariate input space of the affine pre-activation function preceding the ReLU. Using results from submodularity and convex geometry, we derive an explicit description of the tightest possible convex relaxation when this multivariate input is over a box domain. We show that our convex relaxation is significantly stronger than the commonly used univariate-input relaxation which has been proposed as a natural convex relaxation barrier for verification. While our description of the relaxation may require an exponential number of inequalities, we show that they can be separated in linear time and hence can be efficiently incorporated into optimization algorithms on an as-needed basis. Based on this novel relaxation, we design two polynomial-time algorithms for neural network verification: a linear-programming-based algorithm that leverages the full power of our relaxation, and a fast propagation algorithm that generalizes existing approaches. In both cases, we show that for a modest increase in computational effort, our strengthened relaxation enables us to verify a significantly larger number of instances compared to similar algorithms.

研究の動機と目的

• 一変量のDelta緩和の壁を超えて凸緩和を厳密化することによりニューラルネットワークの検証を改善する。
• 多変量の事前活性入力を用いる単一ニューロンの緩和を開発し、より強い界を得る。
• LPおよび伝搬ベースの検証器に指数不等式緩和を組み込むための効率的な分離ルーチンを提供する。
• Elide緩和を活用する伝搬ベース (FastC2V) および LP ベース (OptC2V) のアルゴリズムを設計する。
• ERAN データセットのネットワークで、ベースライン検証器と比較して実証的な改善を示す。

提案手法

• ReLU、アフィン事前活性、入力境界を含む単一ニューロンの最も厳密な凸緩和の明示的な線形不等式描述を導出する。
• 緩和 Conv(S) は指数関数的に大きくなり得るが、線形時間で分離可能であり、実用的な利用を可能にすることを示す。
• Explicit pre-activation 変数を多変量入力集合 S^i の凸包で置換する Elide 緩和を導入し、gamma_Elide を得る。
• 2つのアルゴリズムを開発: OptC2V は完全な Elide 緩和を活用する LP ベースの検証器、FastC2V は Elide 不等式を用いて境界を動的に更新する高速伝搬ベースの検証器。
• Elide 描述 (6b) から違反不等式を同定する分離手順を提供し、それを backward/forward bound-propagation 通過に組み込む。

実験結果

リサーチクエスチョン

• RQ1 多変量の事前活性入力を考慮した tightened convex relaxation は、ニューラルネットワーク検証において従来の Delta-relaxation を上回るか。
• RQ2 Elide凸緩和を定義する指数的多数の不等式を実用的に分離する計算効率の良い方法はあるか。
• RQ3 Elide 緩和を用いる伝搬ベースおよびLPベースの検証器は、Delta緩和ベースラインより標準データセットでより堅牢なインスタンスを認証できるか。
• RQ4 Elide を用いた検証は RefineZono や kPoly のような最先端手法と比較して検証可能なインスタンス数や時間でどう差が出るか。
• RQ5 検証中に新しい不等式を用いて境界関数を動的に更新することの経験的影響はどの程度か。

主な発見

手法	MNIST 6x100	MNIST 9x100	MNIST 6x200	MNIST 9x200	MNIST ConvS	MNIST ConvB	CIFAR-10 ConvS
DeepPoly	160	182	292	259	162	652	359
FastC2V	279	269	477	392	274	691	390
LP	201	223	344	307	242	743	373
OptC2V	429	384	601	528	436	771	398
RefineZono	312	304	341	316	179	648	347
kPoly	441	369	574	506	347	736	399
Upper bound	842	820	901	911	746	831	482

• Elide 緩和は Delta 緩和を超えて単一ニューロンの緩和を著しく強化し、単一ニューロン緩和の壁を回避しつつも単一ニューロン緩和の範囲に留まる。
• ニューロンの最も厳密な凸緩和には明示的な線形不等式描述があり、最悪ケースで指数個の不等式を含むが、分離は線形時間で可能である。
• 分離ルーチンは2つのアルゴリズムを通じて指数的描述を実用化: FastC2V（伝搬ベース）と OptC2V（LPベース）、いずれも検証能力の向上を示す。
• ERANデータセットのネットワークで、FastC2V は最も強力な Delta 緩和境界法より多くの画像を検証し、いくつかのネットワークで RefineZono および kPoly と競合する。
• OptC2V および Cut-to-Verify LP ベースのアプローチは検証可能な画像数を大幅に増加させるが、個々のインスタンス計算時間は高くなる；全体として Elide ベースの手法は多くのケースで Delta緩和ベースラインを上回る。
• MNIST および CIFAR-10 の変種を含むネットワーク全体で、手法はより多くの画像を検証し、検証率と計算時間の間の好ましいトレードオフを示す。