[論文レビュー] Parallelization Techniques for Verifying Neural Networks

Haoze Wu, Alex Ozdemir+8 more|arXiv (Cornell University)|Apr 17, 2020

Adversarial Robustness in Machine Learning参考文献 31被引用数 24

ひとこと要約

本論文では、入力空間またはReLU活性化フェーズを分割することでスケーラブルな検証を可能にする、並列化されたニューラルネットワーク検証フレームワークを提示する。極性に基づくヒューリスティクスと、非常に並列化可能な事前処理ステップを導入することで、大規模DNNにおける性能が顕著に向上し、クラウドプラットフォーム上で100人以上のワーカーを超えて強い線形スループット向上が確認された超並列スケーリング実験が得られた。

ABSTRACT

Inspired by recent successes with parallel optimization techniques for solving Boolean satisfiability, we investigate a set of strategies and heuristics that aim to leverage parallel computing to improve the scalability of neural network verification. We introduce an algorithm based on partitioning the verification problem in an iterative manner and explore two partitioning strategies, that work by partitioning the input space or by case splitting on the phases of the neuron activations, respectively. We also introduce a highly parallelizable pre-processing algorithm that uses the neuron activation phases to simplify the neural network verification problems. An extensive experimental evaluation shows the benefit of these techniques on both existing benchmarks and new benchmarks from the aviation domain. A preliminary experiment with ultra-scaling our algorithm using a large distributed cloud-based platform also shows promising results.

研究の動機と目的

• 安全で重要なアプリケーションにおけるニューラルネットワーク検証のスケーラビリティ制限を解決すること。
• 並列コンピューティングを活用して、ReLU活性化を持つ深層ニューラルネットワークの形式的検証を高速化すること。
• 新しい分割戦略とヒューリスティクスを用いて、Marabou検証フレームワークの性能を向上させること。
• 複雑な検証問題の簡略化と解法を、効率的かつ高度に並列化可能にすること。
• 実世界のベンチマークを用いてアプローチを評価し、クラウドインfraストラクチャ上での超スケーラビリティを示すこと。

提案手法

• Split-and-Conquer (S&C)アルゴリズムは、入力ドメインまたはReLUニューロンの活性化フェーズを分割することで検証問題を分割する。
• 2つの新しい分割戦略が導入される：入力ベースの分割とReLUフェーズベースのケース分割。
• 極性に基づく分岐ヒューリスティクスが使用され、分割意思決定をガイドし、検索効率を向上させる。
• 極性に基づく方向ヒューリスティクスが、検索中により有望な分岐を優先するのを支援する。
• 非常に並列化可能な事前処理アルゴリズムにより、余分な制約やニューロンを削除することで検証問題を簡略化する。
• アプローチはMarabouフレームワーク内に実装され、既存および新規の航空分野ベンチマークを用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 入力空間またはReLU活性化フェーズの分割は、ニューラルネットワーク検証におけるスケーラビリティを向上させるか？
• RQ2 極性に基づくヒューリスティクスは、検証中の検索空間を効果的にガイドするか？
• RQ3 事前処理を並列化することで、検証問題の複雑さを顕著に低減できるか？
• RQ4 S&Cアプローチは、大規模な分散クラウドプラットフォームでどの程度スケーリングするか？
• RQ5 提案手法は、Neurify や過去のMarabouバージョンといった最先端ツールと比較して、どの程度優れているか？

主な発見

• 入力ベースの分割を用いたS&Cアプローチは、多数の入力を有する大規模なパーセプトロンネットワークにおいて、元のMarabouを上回る性能を示した。
• 極性に基づくヒューリスティクスは、検索空間の探索を削減し、解法効率を向上させた。
• 事前処理アルゴリズムは、検証問題を顕著に簡略化でき、非常に並列化可能であった。
• Amazon Lambda上で実施された超並列スケーリング実験では、100人以上のワーカーを用いて強い線形スループット向上が確認され、優れた水平スケーラビリティを示した。
• 改良されたMarabou実装は、特に高入力ネットワークにおいて、Neurifyを上回る性能を発揮した。
• 本フレームワークは、既存および新規に導入された航空分野ベンチマークの両方で一貫した性能向上を示した。