[論文レビュー] Fast Neural Network Verification via Shadow Prices

Vicenç Rúbies Royo, Roberto Calandra+2 more|arXiv (Cornell University)|Feb 19, 2019

Adversarial Robustness in Machine Learning参考文献 17被引用数 25

ひとこと要約

本稿では、最適化における制約の感度測度であるシャドウプライスを用いて、勾配に基づく手法よりも効率的に分割を誘導する、高速なニューラルネットワーク検証のための新規な入力分割手法を提案する。この手法は、ReLUニューロンが一貫して活性または非活性である可能性が高いための領域に分割を優先することで、分割数と計算時間を削減し、ACASベンチマークにおいて最大70％のノード削減と高速な検証時間を達成する。

ABSTRACT

To use neural networks in safety-critical settings it is paramount to provide assurances on their runtime operation. Recent work on ReLU networks has sought to verify whether inputs belonging to a bounded box can ever yield some undesirable output. Input-splitting procedures, a particular type of verification mechanism, do so by recursively partitioning the input set into smaller sets. The efficiency of these methods is largely determined by the number of splits the box must undergo before the property can be verified. In this work, we propose a new technique based on shadow prices that fully exploits the information of the problem yielding a more efficient generation of splits than the state-of-the-art. Results on the Airborne Collision Avoidance System (ACAS) benchmark verification tasks show a considerable reduction in the partitions generated which substantially reduces computation times. These results open the door to improved verification methods for a wide variety of machine learning applications including vision and control.

研究の動機と目的

• 安全で重要な応用分野における入力分割に基づくニューラルネットワーク検証の効率を向上させること。
• ReLUネットワークのロバストネス特性を検証する際の分割数と計算コストを低減すること。
• 勾配に基づく手法を上回る、制約感度の高い領域に分割を誘導する分割戦略を開発すること。
• 航空や制御分野などの実世界応用における深層ニューラルネットワークのより高速かつスケーラブルな検証を可能にすること。

提案手法

• 本手法は、最適化からのラグランジュ双対変数であるシャドウプライスを用い、ReLU活性化制約の入力摂動に対する感度を定量化する。
• シャドウプライスの大きさに基づく分割基準を定式化し、入力ボックス全体でReLU状態（活性／非活性）の不確実性を低減する分割を優先する。
• 分枝限定法の検証フレームワークと統合し、勾配に基づく分割選択をシャドウプライス駆動の選択に置き換える。
• 凸緩和を用いてネットワーク出力の境界を推定し、双対性を活用して分割意思決定を効率的に精緻化する。
• 制約の満たされやすさへの影響を推定することで、動的に分割軸と位置を選択し、冗長な分割を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 シャドウプライスを用いて、ニューラルネットワーク検証におけるより効率的な入力分割を誘導できるか？
• RQ2 勾配に基づく手法と比較して、シャドウプライスに基づく分割は分割数と計算時間を削減できるか？
• RQ3 標準ベンチマークにおいて、シャドウプライスに基づく分割は入出力勾配（IOG）分割と比較してどのように性能を発揮するか？
• RQ4 本手法は、ACASベンチマークのような複雑で安全が求められるネットワークにもスケーラブルに適用可能か？

主な発見

• 提案手法は、ACASベンチマークにおいて、入出力勾配（IOG）分割と比較して、検証で生成されるノード数を最大70％削減した。
• 10件の検証タスクのうち8件で、シャドウプライスに基づく手法（BE）は計算時間が短く、時間比が1.0未満を記録し、一貫した高速化を達成した。
• BE分割では平均探索深さが低く、入力空間の効率的な探索を示した。
• BEに基づく分割は、ϕ₇およびϕ₂の2つのネットワークを除き、すべての性質について完全な検証を達成したのに対し、IOGに基づく分割はϕ₂やϕ₆を含むより多くのタスクでタイムアウトとなった。
• タイムアウトが発生したケースでも、BEはIOGを上回った。これは、より情報に基づいた分割意思決定による、より優れた収束特性を示している。