[論文レビュー] Improving Neural Network Verification through Spurious Region Guided Refinement

Pengfei Yang, Renjue Li+6 more|arXiv (Cornell University)|Oct 15, 2020

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、深層ネットワークの検証手法として広く用いられる抽象解釈ベースの手法であるDeepPolyの精度を向上させるため、誤検出領域を誘導する精錬手法を提案する。過剰近似された領域に真の反例が存在しないことを特定し、線形計画法を用いてReLUニューロンの境界を厳密化することで、反復的に誤検出領域を除去する。この手法により、検証精度が顕著に向上し、厳密な保証のもとで定量的ロバストネス検証が可能になる。

ABSTRACT

We propose a spurious region guided refinement approach for robustness verification of deep neural networks. Our method starts with applying the DeepPoly abstract domain to analyze the network. If the robustness property cannot be verified, the result is inconclusive. Due to the over-approximation, the computed region in the abstraction may be spurious in the sense that it does not contain any true counterexample. Our goal is to identify such spurious regions and use them to guide the abstraction refinement. The core idea is to make use of the obtained constraints of the abstraction to infer new bounds for the neurons. This is achieved by linear programming techniques. With the new bounds, we iteratively apply DeepPoly, aiming to eliminate spurious regions. We have implemented our approach in a prototypical tool DeepSRGR. Experimental results show that a large amount of regions can be identified as spurious, and as a result, the precision of DeepPoly can be significantly improved. As a side contribution, we show that our approach can be applied to verify quantitative robustness properties.

研究の動機と目的

• 抽象解釈ベースのDNN検証における精度の欠如、特にDeepPolyが過剰近似のためロバストネスを検証できない場合に対処すること。
• 真の反例を含まない抽象化の過剰近似である誤検出領域を特定し、検証精度を向上させること。
• 実際に構築が困難なコンcreteな反例ではなく、誤検出領域からの制約によって誘導される精錬戦略を開発すること。
• このアプローチを、与えられた誤差許容範囲内でロバストネス違反を示す入力集合を過剰近似する定量的ロバストネス検証へと拡張し、サンプリングベースの手法を凌駒すること。

提案手法

• 入力の摂動下でのネットワーク出力の初期過剰近似を計算するためにDeepPolyを適用する。
• ロバストネス性質の否定とDeepPolyの抽象化の積集合を用いて、誤検出領域を特定する。
• 誤検出領域の制約を用いて線形計画法を実行し、活性状態が不確実なReLUニューロンの境界を厳密化する。
• 厳密化された境界を再び適用してDeepPolyを再び実行することで、抽象化を反復的に精錬し、誤検出領域を排除することを目的とする。
• すべての誤検出領域が除外されるか、最大反復回数に達するまで精錬を継続する。
• 与えられた誤差許容範囲内でロバストネス違反を示す入力集合を過剰近似するという点で、同じフレームワークを定量的ロバストネス検証に適用する。

実験結果

リサーチクエスチョン

• RQ1 DeepPolyの抽象化における誤検出領域を効果的に特定し、精錬を誘導するための有効な手段として利用できるか？
• RQ2 誤検出領域の制約に対する線形計画法の適用は、ReLUニューロンの境界を厳密化し、過剰近似を低減するのにどの程度有効か？
• RQ3 反復的精錬プロセスは誤検出領域を排除でき、局所的ロバストネス性質の健全な検証を可能にするか？
• RQ4 この手法は、健全な信頼性保証のもとで定量的ロバストネス検証へどの程度拡張可能か？
• RQ5 検証カバレッジと実行時間の観点から、精錬後の手法はDeepPolyと比べてどの程度優れているか？

主な発見

• FNN7では、DeepSRGRが50個の入力のうち36個を検証したのに対し、DeepPolyは25個にとどまり、検証カバレッジの顕著な向上が確認された。
• FNN7におけるDeepSRGRの平均実行時間は8,960秒であり、精錬における線形計画法の計算コストのため、DeepPolyよりも高かった。
• 最大反復回数を5から50に増加させても、15個の性質のうち2個しか追加で検証できなかったため、この手法は初期段階で関連する誤検出領域を効率的に特定できていることが示された。
• 50回の反復内で除外されなかった13個の誤検出領域のうち、平均して再発生したReLU動作の数はたった8.54にとどまり、精錬の可能性が限定的であることが示唆された。
• 定量的ロバストネス検証において、DeepSRGRの1−η信頼度の過剰近似は75％以上のケースでDeepPolyの10分の1未満であり、優れた精度を示した。
• 32回の反復内で13個の新たな誤検出領域を正常に検証できたが、そのうち47.4％のReLU動作変更が最終反復で発生しており、収束付近での高い精錬感度が示された。