[論文レビュー] Efficient Neural Network Verification via Order Leading Exploration of Branch-and-Bound Trees

Jingyue Lu, Manish Kumar+5 more|arXiv (Cornell University)|Dec 3, 2019

Adversarial Robustness in Machine Learning参考文献 17被引用数 9

ひとこと要約

本稿では、分枝限定法（BaB）フレームワークを用いたニューラルネットワーク検証のためのグラフニューラルネットワーク（GNN）ベースの分枝戦略を提案する。ニューラルネットワークをグラフとしてモデル化し、新規の前向き・後向き埋め込み更新スケジュールを用いることで、GNNは計算コストを著しく低く抑えながら強力分枝（strong branching）を模倣する。これにより、最先端の手作業で設計された戦略と比較して、分枝数および検証時間の両方で50%以上の削減を達成し、問題の難易度やネットワークサイズの変化に対しても強力な水平的および垂直的汎用性を示した。

ABSTRACT

Formal verification of neural networks is essential for their deployment in safety-critical areas. Many available formal verification methods have been shown to be instances of a unified Branch and Bound (BaB) formulation. We propose a novel framework for designing an effective branching strategy for BaB. Specifically, we learn a graph neural network (GNN) to imitate the strong branching heuristic behaviour. Our framework differs from previous methods for learning to branch in two main aspects. Firstly, our framework directly treats the neural network we want to verify as a graph input for the GNN. Secondly, we develop an intuitive forward and backward embedding update schedule. Empirically, our framework achieves roughly $50\%$ reduction in both the number of branches and the time required for verification on various convolutional networks when compared to the best available hand-designed branching strategy. In addition, we show that our GNN model enjoys both horizontal and vertical transferability. Horizontally, the model trained on easy properties performs well on properties of increased difficulty levels. Vertically, the model trained on small neural networks achieves similar performance on large neural networks.

研究の動機と目的

• 分枝限定法（BaB）アルゴリズムにおけるニューラルネットワーク検証の主要なボトル neck である、効果的な分枝戦略の高い計算コストを解消すること。
• 手作業で設計されたヒューリスティクスやランダム選択を上回る、計算効率が高く品質の高い分枝戦略を開発すること。
• 異なるニューラルネットワークアーキテクチャおよび検証問題の難易度レベルにわたって、学習済み分枝ポリシーの汎用性を実現すること。
• BaBプロセス中に特定の検証特性に適応するため、オンラインファインチューニングを統合してGNNポリシーを調整すること。

提案手法

• 本手法は、ニューラルネットワークを計算グラフとしてモデル化し、強力分枝の挙動を模倣することで、GNNを用いて分枝ポリシーを学習する。
• 前向きおよび後向きの埋め込み更新スケジュールを新たに導入し、共有パラメータを用いて情報の効率的伝搬を実現することで、高速な推論を可能にする。
• GNNは、合成トレーニングデータを用いて教師あり学習で訓練され、そのデータは一部のステップにおいて安価なヒューリスティクスと強力分枝を組み合わせて生成される。
• 本フレームワークは、問題の難易度レベルにわたる水平的汎用性（horizontal transferability）と、小規模ネットワークから大規模ネットワークへの垂直的汎用性（vertical transferability）の両方をサポートする。
• BaBプロセス中にGNNをオンライン学習でファインチューニングするスキームを統合し、特定の検証タスクに適応したポリシーに進化させる。
• 本手法は任意のバウンディング手法と互換性があるため、既存のBaBベースの検証フレームワークに広く適用可能である。

実験結果

リサーチクエスチョン

• RQ1 GNNは、強力分枝の性能に匹敵または上回る高品質な分枝戦略を、ニューラルネットワーク検証の文脈で効果的に学習できるか？
• RQ2 提案されたGNNベースの分枝戦略は、手作業で設計されたヒューリスティクスやランダム選択と比較して、検証時間および分枝数の点でどの程度優れているか？
• RQ3 学習済みGNNポリシーは、検証問題の難易度レベルの変化に対し、どの程度一般化できるか（水平的汎用性）？
• RQ4 小規模ネットワークで学習したGNNポリシーは、大規模ネットワークに対しても効果的に適用可能か（垂直的汎用性）？
• RQ5 BaBプロセス中にGNNをオンラインでファインチューニングすることで、さらに検証性能が向上するか？

主な発見

• 提案されたGNNベースの分枝戦略は、さまざまな畳み込みネットワークにおいて、最良の手作業で設計された分枝戦略と比較して、平均分枝数を50%以上削減し、検証時間も50%以上短縮した。
• GNNモデルは、簡単、中程度、難しい検証特性のすべてにおいて一貫した性能向上を示し、強力な水平的汎用性を確認した。
• 小規模ネットワークで学習したモデルは、大規模ネットワークに対しても効果的に一般化でき、顕著な垂直的汎用性を示し、大規模問題への応用を可能にした。
• オンラインファインチューニングによりGNNの性能がさらに向上し、GNN-Onlineは標準GNNと比較して61.52%の問題で分枝数を減らし、60.20%の問題でより短い時間で解決した。
• 本フレームワークは、強固で汎用性に富み、すべてのテスト対象モデルおよび問題セットにおいて、BaBSRおよび商用MIPソルバー（MIPPlanet）を上回った。