[論文レビュー] Abstraction based Output Range Analysis for Neural Networks

Pavithra Prabhakar, Zahra Rahimi Afzal|arXiv (Cornell University)|Jul 18, 2020

Neural Networks and Applications被引用数 22

ひとこと要約

本稿では、ReLUベースの順方向ニューラルネットワークの出力範囲解析の計算複雑性を低減するための新しい抽象化技術を提案する。この手法は、より少ないニューロンと区間重みを有する区間ニューラルネットワーク（INN）を構築することで、元のネットワークの出力範囲を過剰近似し、混合整数線形計画法（MILP）に帰着させる。計算時間と精度のトレードオフを実現し、抽象化を適用した際のACAS Xuベンチマークで顕著な高速化が観察された。

ABSTRACT

In this paper, we consider the problem of output range analysis for feed-forward neural networks with ReLU activation functions. The existing approaches reduce the output range analysis problem to satisfiability and optimization solving, which are NP-hard problems, and whose computational complexity increases with the number of neurons in the network. To tackle the computational complexity, we present a novel abstraction technique that constructs a simpler neural network with fewer neurons, albeit with interval weights called interval neural network (INN), which over-approximates the output range of the given neural network. We reduce the output range analysis on the INNs to solving a mixed integer linear programming problem. Our experimental results highlight the trade-off between the computation time and the precision of the computed output range.

研究の動機と目的

• ReLU活性化関数を有する深層ニューラルネットワークの出力範囲解析における高い計算複雑性に対処すること。
• 出力範囲を過剰近似しつつニューロンの数を削減する整合的な抽象化技術を開発すること。
• 区間重みを用いたネットワーク構造の簡略化により、ニューラルネットワーク制御システムの効率的検証を可能にすること。
• 出力範囲推定における計算時間と精度のトレードオフを示すこと。
• 既存の検証ツール（例：MILPソルバーやReluplex）と統合可能な基盤を提供すること。

提案手法

• 各層のニューロンを統合することで区間ニューラルネットワーク（INN）を構築し、統合されたノード数にスケーリングされた凸包から導出された区間重みを用いる。
• 抽象化の整合性を保証するため、抽象ネットワークが元のネットワークの出力範囲を過剰近似することを証明する。
• 先行研究の拡張されたエンコーディングを用いて、INNにおける出力範囲計算を混合整数線形計画法（MILP）問題に還元する。
• Gurobiなどの商用MILPソルバを用いて、抽象化されたネットワークの出力範囲の上限および下限を計算する。
• 同じ数の抽象化ノードに対して複数の抽象化を生成するために、ランダムなパーティショニング戦略を適用し、精度のばらつきを評価する。
• 異なる抽象化レベルにおいて、抽象化時間、エンコーディング時間、MILP解法時間の測定と比較を行う。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークを区間ニューラルネットワーク（INN）に抽象化することで、出力範囲解析の計算コストを顕著に低減できるか？
• RQ2 提案された抽象化技術は整合性を保ち、INNが元のネットワークの出力範囲を過剰近似することを保証するか？
• RQ3 異なる数の抽象化ノードおよびパーティショニング戦略に対して、出力範囲推定の精度はどのように変化するか？
• RQ4 抽象化時間、エンコーディング時間、MILP解法時間の各要素が、全体の計算コストに占める相対的寄与度は何か？
• RQ5 この抽象化技術は、既存のMILPベースまたは充足可能性ベースの検証手法を大規模ネットワークにスケーラブルに可能とする前処理として利用可能か？

主な発見

• GurobiによるMILP解法時間は、全体の計算パイプラインにおける主要なコストであり、抽象化ノード数が一定値を超えると急激に増加する。
• 抽象化なしでは、Gurobiは完全なACAS Xuベンチマークに対して結果を返せなかったことから、スケーラビリティの観点から抽象化の必要性が示された。
• 抽象化時間とエンコーディング時間はノード数の増加に従い緩やかに増加するが、MILP解法時間は急激に増加するため、抽象化がボトルネックを最も効果的に低減することが示された。
• 抽象化ノード数を増やすことで出力範囲の上限が顕著に低下し、精度が向上するが、同じノード数に対してもパーティショニングの選択により最大2倍の差が生じる場合がある。
• 計算時間と出力範囲精度の間で有利なトレードオフを達成しており、抽象化を適用した際には顕著な高速化が観察された。
• 出力範囲の精度は特定のニューロンのパーティショニングに極めて敏感であるため、今後の研究ではパーティショニング戦略の最適化に注力すべきである。