[論文レビュー] Complete Verification via Multi-Neuron Relaxation Guided Branch-and-Bound

Claudio Ferrari, Mark Niklas Muller+2 more|arXiv (Cornell University)|Apr 30, 2022

Adversarial Robustness in Machine Learning被引用数 20

ひとこと要約

MN-BaB は tight multi-neuron relaxations を GPU ベースの dual optimizer と Branch-and-Bound フレームワーク内に組み合わせて、神経ネットワークの完全検証を実現し、難解なモデルで認定精度を最大で 28% 改善します。

ABSTRACT

State-of-the-art neural network verifiers are fundamentally based on one of two paradigms: either encoding the whole verification problem via tight multi-neuron convex relaxations or applying a Branch-and-Bound (BaB) procedure leveraging imprecise but fast bounding methods on a large number of easier subproblems. The former can capture complex multi-neuron dependencies but sacrifices completeness due to the inherent limitations of convex relaxations. The latter enables complete verification but becomes increasingly ineffective on larger and more challenging networks. In this work, we present a novel complete verifier which combines the strengths of both paradigms: it leverages multi-neuron relaxations to drastically reduce the number of subproblems generated during the BaB process and an efficient GPU-based dual optimizer to solve the remaining ones. An extensive evaluation demonstrates that our verifier achieves a new state-of-the-art on both established benchmarks as well as networks with significantly higher accuracy than previously considered. The latter result (up to 28% certification gains) indicates meaningful progress towards creating verifiers that can handle practically relevant networks.

研究の動機と目的

• 神経ネットワークの単一ニューロン緩和にとどまらない、堅牢で拡張可能な完全検証を動機づける。
• サブ問題を大幅に削減するマルチニューロン制約を用いる Verifier MN-BaB を導入する。
• マルチニューロン制約の活性を利用した分岐ヒューリスティック ACS を開発する。
• 境界品質と計算コストのバランスをとるコスト調整分岐戦略 CAB を提案する。
• より大規模でより正確なネットワークに対して、標準ベンチマークおよび新規・より正則化の低いネットワークで最先端の認定精度を実証的に示す。

提案手法

• tight なマルチニューロン緩和を BaB 境界付けプロセスに統合する MN-BaB というマルチニューロン制約ガイド付き BaB フレームワークを開発する。
• 残りのサブ問題を効率的に解くために GPU ベースのデュアル最適化を使用する。
• ReLU およびアフィン層を通じて線形およびマルチニューロン制約をバックサブスティテューションによって逆伝播させ、健全な下限を得る。
• 境界計算中にマルチニューロン制約と分割制約を課すためにラグランジュ乗数を適用する。
• 制約活性と感度を測定することで分岐の Active Constraint Score (ACS) を導入する。
• 分岐中の境界改善と見積もられた計算コストのバランスを取る Cost Adjusted Branching (CAB) を導入する。

実験結果

リサーチクエスチョン

• RQ1 大規模ネットワークで BaB のサブ問題を減らすために、マルチニューロン制約は境界を十分に厳しくできるか。
• RQ2 マルチニューロン活性を活用する分岐戦略は検証効率にどのように影響するか。
• RQ3 GPU ベースのデュアル最適化アプローチは完全性を維持しつつ、実用的なネットワークに対してスケールできるか。
• RQ4 コスト認識型分岐が総検証時間と成功率に与える影響はどれくらいか。
• RQ5 提案フレームワークは標準ベンチマークおよび新規のより正則化の低いネットワークで、最先端の認定精度をどの程度達成できるか。

主な発見

Dataset	Model	Acc. (%)	ε	ERAN Ver. (%)	Time (s)	oval Ver. (%)	Time (s)	β-Crown Ver. (%)	Time (s)	MN-BaB Ver. (%)	Time (s)	Upper Bound Ver. (%)	Time (s)
MNIST	ConvSmall	98.0	0.12	73.2	38.4	69.8	26.2	71.6	46	71.0	21.3	70.3	26.2
MNIST	ConvBig	92.9	0.30	78.6	6.0	-	-	77.7	-	78	-	78.3	20.8
MNIST	ConvSuper	97.7	0.18	0.5	142.0	-	-	-	-	19.2	86.2	17.6	90.9	37.3
CIFAR10	ConvSmall	63.0	2/255	47.2	54.4	46.2	17.7	46.3	18	46.1	16.4	45.8	18.0	48.1
CIFAR10	ConvBig	63.1	2/255	48.2	128.1	50.6	42.0	50.3	55	49.4	49.5	51.5	37.0	55.0
ResNet6-A	-	84.0	1/255	45.0	114.6	-	-	52.0	263.4	48.0	202.7	55.0	170.7	75.0
ResNet6-B	-	79.0	1/255	66.0	48.6	-	-	67.0	105.7	65.0	51.1	67.0	37.8	71.0
ResNet8-A	-	83.0	1/255	11.0	362.5	-	-	18.0	497.3	19.0	390.7	23.0	371.0	-

• MN-BaB は困難なネットワークで従来法より高い認定精度を達成し、最大で 28% の利得がある。
• マルチニューロン制約の導入により、設定全体でサブ問題の数が2〜3オーダーのオーダーで大幅に削減される。
• ACS 分岐はサブ問題を大幅に減少させ、BaBSR と比較して各特性の検証時間を改善する。
• CAB は ACS および MNCs と組み合わせると検証を平均で約 50% 加速する。
• MN-BaB はより大規模で正則化の低いネットワークで、マルチニューロンの相互作用がより重要になる場面でより強い利点を示す。