[論文レビュー] Improved Branch and Bound for Neural Network Verification via Lagrangian Decomposition

Alessandro De Palma, Rudy Bunel+5 more|arXiv (Cornell University)|Apr 14, 2021

Adversarial Robustness in Machine Learning参考文献 44被引用数 16

ひとこと要約

この論文は、ラグランジュ分解に基づく双対最適化と、活性化関数に基づく新たな分岐戦略を用いることで、スケーラビリティと効率性を向上させた、ニューラルネットワーク検証のための新しい分岐・限定フレームワークBaDNBを提案する。制限された双対空間を介して境界を厳密にし、GPU並列計算が可能な仕組みを導入することで、先行する完全検証手法と比較して、敵対的ロバストネス特性における平均検証時間を最大50倍短縮する。

ABSTRACT

We improve the scalability of Branch and Bound (BaB) algorithms for formally proving input-output properties of neural networks. First, we propose novel bounding algorithms based on Lagrangian Decomposition. Previous works have used off-the-shelf solvers to solve relaxations at each node of the BaB tree, or constructed weaker relaxations that can be solved efficiently, but lead to unnecessarily weak bounds. Our formulation restricts the optimization to a subspace of the dual domain that is guaranteed to contain the optimum, resulting in accelerated convergence. Furthermore, it allows for a massively parallel implementation, which is amenable to GPU acceleration via modern deep learning frameworks. Second, we present a novel activation-based branching strategy. By coupling an inexpensive heuristic with fast dual bounding, our branching scheme greatly reduces the size of the BaB tree compared to previous heuristic methods. Moreover, it performs competitively with a recent strategy based on learning algorithms, without its large offline training cost. Finally, we design a BaB framework, named Branch and Dual Network Bound (BaDNB), based on our novel bounding and branching algorithms. We show that BaDNB outperforms previous complete verification systems by a large margin, cutting average verification times by factors up to 50 on adversarial robustness properties.

研究の動機と目的

• 深層ニューラルネットワークの既存の完全検証手法におけるスケーラビリティの制限を解決すること。
• ラグランジュ分解を活用して、分岐・限定検証における双対境界のタイトさと速度を向上させること。
• 高価なオフライン学習を必要とせずに、木のサイズを削減する分岐戦略を設計すること。
• ディープラーニングフレームワークを活用して、効率的かつ大規模並列計算による境界計算を可能にすること。

提案手法

• 最適解を含むことが保証された部分空間に双対領域を制限する、ラグランジュ分解に基づく新規な双対定式化を提案し、従来のラグランジュ緩和法よりもタイトな境界を達成する。
• スーパーグラデント上昇とプロキシマル法の2つのソルバーを開発し、ニューラルネットワークの順伝搬・逆伝搬に類似した演算に依存するため、GPU加速に適している。
• 収束速度を向上させつつタイトさを維持するため、モーメンタムを組み込んだ双対更新則を導入する。
• 高速な双対境界と軽量なヒューリスティックを統合した活性化関数に基づく分岐戦略を設計し、BaB木のサイズを顕著に削減する。
• ReLUネットワークの凸構造を活用して、解析的ステップサイズが適用可能な強凸部分問題に双対問題を分解する。
• 新規な境界計算および分岐部品を統合した完全検証システムBaDNBを実装し、エンドツーエンドの性能向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 ラグランジュ分解は、ニューラルネットワーク検証において、標準的なラグランジュ緩和法よりもタイトな双対境界を達成できるか？
• RQ2 提案された双対定式化は、ディープラーニングハードウェアを用いて効率的に並列化・加速できるか？
• RQ3 活性化関数に基づく分岐戦略は、従来のヒューリスティックおよび学習済み手法を上回り、BaB木のサイズを効果的に削減できるか？
• RQ4 新規な境界計算および分岐手法は、実世界のロバストネス特性において、どの程度検証時間を短縮できるか？

主な発見

• 提案されたラグランジュ分解に基づく双対定式化は、Dvijothamら（2018）の結果と同等またはそれ以上のタイトさを実現し、収束速度も同等または速い。
• プロキシマル法は、特に困難な検証問題において、スーパーグラデント上昇よりも境界品質と収束速度の両面で優れている。
• 新規な双対定式化により、GPU並列化が効率的に行え、複数のネットワークユニットにおける境界計算が顕著に高速化される。
• 活性化関数に基づく分岐戦略は、BaB木のサイズを顕著に削減し、従来のヒューリスティックを上回り、オフライン学習を必要とせずに学習済み手法と同等の性能を達成する。
• BaDNBは、先行する完全検証システムと比較して、敵対的ロバストネス特性における平均検証時間を最大50倍短縮する。
• CIFAR-10ネットワークにおける実験結果から、非敵対的学習下でも、広範な検証半径においてタイトな境界を維持することが確認された。