[論文レビュー] Automated Verification of Neural Networks: Advances, Challenges and Perspectives

Francesco Leofante, Nina Narodytska+2 more|arXiv (Cornell University)|May 25, 2018

Adversarial Robustness in Machine Learning参考文献 17被引用数 51

ひとこと要約

この調査は、ニューラルネットの検証の自動推論アプローチをカテゴリ分けし、技術、ネットワーク、特性、将来の研究方向を詳述します。

ABSTRACT

Neural networks are one of the most investigated and widely used techniques in Machine Learning. In spite of their success, they still find limited application in safety- and security-related contexts, wherein assurance about networks' performances must be provided. In the recent past, automated reasoning techniques have been proposed by several researchers to close the gap between neural networks and applications requiring formal guarantees about their behavior. In this work, we propose a primer of such techniques and a comprehensive categorization of existing approaches for the automated verification of neural networks. A discussion about current limitations and directions for future investigation is provided to foster research on this topic at the crossroads of Machine Learning and Automated Reasoning.

研究の動機と目的

• ニューラルネットワークの自動検証技術の全体像を要約する。
• 特性とアーキテクチャに基づいて既存のアプローチを分類する。
• 機械学習と自動推論の交差領域における現在の制限を識別し、将来の研究方向を提案する。

提案手法

• ニューラルネットワークを制約系として符号化することによって検証フレームワークを説明する。
• 決定手続き: SAT、SMT、MIPソルバーと、それらがニューラル制約をどのように扱うかを説明する。
• ネットワークタイプ（BNN、DNN変種、 shallow NN）と特性（不変性、可逆性、同値性）で文献を分類する。
• プリ/ポスト条件と普遍量化・存在量化を用いた統一的な特性形式を提示する。
• 局所的対 global な特性検証設定について論じる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークを検証するために用いられる主な自動推論手法は何か？
• RQ2 特性とアーキテクチャによって検証アプローチを整理するにはネットワークをどのように分類できるか？
• RQ3 検証で優先される特性は何か（不変性、可逆性、同値性）そしてどの文脈で（局所/全体）？
• RQ4 MLと自動推論の交差領域における現在の制限と将来の方向性は何か？

主な発見

• NN検証のコア決定手続きとしてCDCLベースのSAT、SMT、MIPの概要。
• BNN、DNN（ReLU、プーリング）、および汎用NNでのネットワークタイプ横断の検証アプローチの分類。
• 不変性、可逆性、同値性を検証特性として形式的に定義し、全体的および局所的なバリアントを含む。
• SMTが真理値布告を構築し、理論補助定理でNN制約を解決する方法の議論。
• 深層ネットワークのスケーリング課題と、検証技術を進展させるための学際的な研究の必要性。