[論文レビュー] Reachability Analysis for Feed-Forward Neural Networks using Face Lattices

Xiaodong Yang, Hoang-Dung Tran+2 more|arXiv (Cornell University)|Mar 2, 2020

Adversarial Robustness in Machine Learning参考文献 23被引用数 11

ひとこと要約

本稿では、ReLU活性化関数を備えたフィードフォワードニューラルネットワークの正確な到達可能集合解析のための新規で並列化可能な手法を提案する。Face latticeを用いて到達可能集合を効率的に計算することで、H-repからV-repへの変換を回避し、Reluplex、Marabou、NNVといった最先端のツールよりも著しく高い効率性を達成するとともに、安全でない入力の追跡に役立てるための完全な入力集合の再構築を可能にする。

ABSTRACT

Deep neural networks have been widely applied as an effective approach to handle complex and practical problems. However, one of the most fundamental open problems is the lack of formal methods to analyze the safety of their behaviors. To address this challenge, we propose a parallelizable technique to compute exact reachable sets of a neural network to an input set. Our method currently focuses on feed-forward neural networks with ReLU activation functions. One of the primary challenges for polytope-based approaches is identifying the intersection between intermediate polytopes and hyperplanes from neurons. In this regard, we present a new approach to construct the polytopes with the face lattice, a complete combinatorial structure. The correctness and performance of our methodology are evaluated by verifying the safety of ACAS Xu networks and other benchmarks. Compared to state-of-the-art methods such as Reluplex, Marabou, and NNV, our approach exhibits a significantly higher efficiency. Additionally, our approach is capable of constructing the complete input set given an output set, so that any input that leads to safety violation can be tracked.

研究の動機と目的

• 安全なサイバー物理システムに使用される深層ニューラルネットワークにおける安全性の形式的検証の欠如に対処すること。
• H-repからV-repへの変換および妥当性チェックが高コストであるために、既存のポリトープベースの到達可能集合解析手法の非効率性を克服すること。
• ネットワークのすべての線形領域を追跡することで、正確かつ完全な到達可能集合解析を実現し、整合性と完全性を保つこと。
• 逆解析を可能にするために、特定の出力集合に対応する完全な入力集合を再構築できることで、安全でない入力の完全な追跡を可能にすること。
• 大規模なReLUネットワークにおける到達可能集合解析のスケーラビリティと並列処理の向上を図ること。

提案手法

• 中間の到達可能集合を表すために、ポリトープの完全な組み合わせ的構造であるフェースラティスを用いることで、H-repからV-repへの繰り返し変換の必要性を回避する。
• 重み行列とバイアスベクトルによるアフィン変換を実行し、ReLU非線形性はゼロの超平面との積集合として処理する。フェースラティス操作を用いることで、計算の効率性を向上させる。
• 線形計画法の妥当性チェックを回避するために、フェースラティス構造を活用し、直接的に積集合と射影を計算する。
• フェースラティス操作により、ポリトープの積集合と射影を効率的かつ正確に計算でき、従来のポリトープ手法と比較して計算オーバーヘッドを低減する。
• 線形領域ごとに並列処理が可能であり、出力集合を逆算してそれらに至るすべての入力集合を回復することで、逆方向の到達可能集合解析を可能にする。
• 既存の検証パイプラインと統合可能であり、ACAS Xuおよびその他のベンチマークで評価され、スケーラビリティと正しさを実証している。

実験結果

リサーチクエスチョン

• RQ1 ポリトープのフェースラティス表現は、ReLUニューラルネットワークにおける到達可能集合解析の計算コストを著しく低減できるか？
• RQ2 H-repからV-repへの繰り返し変換を回避することで、既存のポリトープベース手法に比べて測定可能な性能向上が達成できるか？
• RQ3 本手法は、正確性と完全性を維持したまま、より大きなネットワークにスケーリング可能か？
• RQ4 与えられた出力集合から、完全な入力集合をどれほど正確に再構築できるか。これにより、安全でない入力の完全な追跡が可能になるか？
• RQ5 Reluplex、Marabou、NNVといった最先端のツールと比較して、本手法の効率性と正確性はどの程度優れているか？

主な発見

• 提案手法は、Reluplex、Marabou、NNVよりも著しく高い効率性を達成しており、ACAS Xuおよびその他のベンチマークで性能向上が実証されている。
• フェースラティスの使用により、高コストなH-repからV-repへの変換の必要性が排除され、ポリトープ演算における計算オーバーヘッドが低減された。
• 正確かつ完全な到達可能集合解析が可能であり、ネットワークのすべての線形領域を追跡することで、整合性と完全性が保たれている。
• 逆方向の到達可能集合解析が可能である。出力集合が与えられると、それに対応する完全な入力集合を再構築でき、安全でない入力の完全な追跡が可能になる。
• 本手法は本質的に並列処理可能であり、大規模なReLUネットワークにおけるスケーラビリティが向上する。
• 評価結果では顕著な高速化が得られており、さまざまなネットワーク層において実行時間は0.05秒から11.55秒の範囲に収まり、速度と完全性の両面で既存のツールを上回っている。