[論文レビュー] NeuroDiff: Scalable Differential Verification of Neural Networks using Fine-Grained Approximation

Brandon Paulsen, Jingbo Wang+2 more|arXiv (Cornell University)|Sep 21, 2020

Adversarial Robustness in Machine Learning参考文献 56被引用数 4

ひとこと要約

NeuroDiffは、微細な凸近似と記号変数を用いることで、前向き伝搬型ReLUニューラルネットワークのスケーラブルな差分検証技術を提案する。これにより、精度と速度が著しく向上し、圧縮済みまたは変更されたネットワークにおける同等性検証タスクで、最新の手法と比較して最大1000倍の高速化と5倍の高い精度を達成する。

ABSTRACT

As neural networks make their way into safety-critical systems, where misbehavior can lead to catastrophes, there is a growing interest in certifying the equivalence of two structurally similar neural networks. For example, compression techniques are often used in practice for deploying trained neural networks on computationally- and energy-constrained devices, which raises the question of how faithfully the compressed network mimics the original network. Unfortunately, existing methods either focus on verifying a single network or rely on loose approximations to prove the equivalence of two networks. Due to overly conservative approximation, differential verification lacks scalability in terms of both accuracy and computational cost. To overcome these problems, we propose NeuroDiff, a symbolic and fine-grained approximation technique that drastically increases the accuracy of differential verification while achieving many orders-of-magnitude speedup. NeuroDiff has two key contributions. The first one is new convex approximations that more accurately bound the difference neurons of two networks under all possible inputs. The second one is judicious use of symbolic variables to represent neurons whose difference bounds have accumulated significant error. We also find that these two techniques are complementary, i.e., when combined, the benefit is greater than the sum of their individual benefits. We have evaluated NeuroDiff on a variety of differential verification tasks. Our results show that NeuroDiff is up to 1000X faster and 5X more accurate than the state-of-the-art tool.

研究の動機と目的

• 安全性が求められる応用分野において、構造的に類似した2つのニューラルネットワーク間の機能的同等性を検証するためのスケーラブルで正確な手法の欠如に対処すること。
• 過度に保守的な近似に依存する従来の差分検証ツールの限界を克服し、スケーラビリティと精度の両方を向上させること。
• 圧縮またはプルーニングされたニューラルネットワークとその元のバージョンとの間で、行動的類似性に関する形式的保証を提供する技術を開発すること。
• 前向き解析におけるネットワーク差分の近似誤差蓄積を低減しつつ、計算効率を維持すること。
• 記号的抽象化と微細な凸境界を統合し、検証の精度と性能の両面で相乗効果をもたらすこと。

提案手法

• 従来の手法で用いられる粗い区間の具体化に代わり、すべての入力に対して2つのReLUネットワークの出力差分をきめ細かく束縛する、新しい凸近似を導入する。
• 差分境界に著しい誤差が蓄積された隠れ層のニューロンを記号変数で表現することで、不確実性の伝搬をより正確に可能にする。
• 記号的抽象化と凸近似を組み合わせ、記号的区間算術を用いた前向き解析パイプラインで差分境界を計算する。
• 高い不確実性領域を特定するための分割戦略を用い、必要な箇所にのみより精細な解析を適用することで、効率性を向上させる。
• ネットワーク間の構造的類似性（例：重みプルーニングや量子化）を活用して共通の計算を効果的に活用し、重複する解析を削減する。
• タイムアウトベースの検証フレームワークを採用し、差分が許容誤差ε未満であることが形式的に証明された場合は「検証済み」と返し、それ以外の場合は「未決定」と返す。

実験結果

リサーチクエスチョン

• RQ1 微細な凸近似は、ReLUネットワークの差分検証における過剰近似誤差を顕著に低減できるか？
• RQ2 記号変数は、前向き伝搬における差分境界の誤差蓄積をどの程度軽減できるか？
• RQ3 凸近似と記号的抽象化を併用することで、単独で用いる場合と比較して、検証精度とスケーラビリティがどの程度向上するか？
• RQ4 提案手法は、実世界のニューラルネットワーク圧縮タスクにおいて、桁違いの高速化を達成しながら、精度を維持または向上させられるか？
• RQ5 入力の摂動とネットワークの幅は、提案された近似手法の有効性にどのような影響を与えるか？

主な発見

• NeuroDiffは、最新の手法ReluDiffと比較して、差分検証タスクで最大1000倍の高速化を達成した。
• 検証精度が最大5倍向上し、同等性チェックにおける誤検出（偽陰性）を顕著に低減した。
• 凸近似は、pre-ReLUのdelta区間が広いが依然として記号情報が保持されている場合に最も効果的であり、これは高レベルの摂動設定と整合する。
• 凸近似と記号変数の組み合わせにより、相乗効果が得られ、個別の手法の効果の合計を上回る性能向上が達成された。
• MNISTの実験では、摂動を増加させることでdelta区間が広がり、凸近似がこのような条件下で最も有益であることが確認された。
• 本手法は、ユーザーが定義したε許容誤差のもとで、元のネットワークと圧縮されたネットワーク（例：プルーニングや量子化済み）の間で、形式的保証のもとで機能的同等性を正当に検証できた。