[論文レビュー] Algorithms for Verifying Deep Neural Networks

Changliu Liu, Tomer Arnon+4 more|arXiv (Cornell University)|Mar 15, 2019

Adversarial Robustness in Machine Learning参考文献 68被引用数 35

ひとこと要約

本論文は、深層ニューラルネットワークの妥当性検証手法を、到達性（reachability）、最適化、探索を結びつけて調査し、教育的な実装とベンチマーク比較を提供する。

ABSTRACT

Deep neural networks are widely used for nonlinear function approximation with applications ranging from computer vision to control. Although these networks involve the composition of simple arithmetic operations, it can be very challenging to verify whether a particular network satisfies certain input-output properties. This article surveys methods that have emerged recently for soundly verifying such properties. These methods borrow insights from reachability analysis, optimization, and search. We discuss fundamental differences and connections between existing algorithms. In addition, we provide pedagogical implementations of existing methods and compare them on a set of benchmark problems.

研究の動機と目的

• 多様な用途において深層ニューラルネットワークの入力-出力特性を検証する必要性を動機づける。
• 既存の検証手法を調査し、核心的なアイデアと技術ごとに分類する。
• 検証アプローチ間の接続と相違、およびそれらの理論的基盤を強調する。
• 理解と実践を支援するための教育的な実装とベンチマーク比較を提供する。

提案手法

• 深層ニューラルネットワークの既存の検証手法を調査する。
• アプローチ間の基本的な違いと結びつき（到達性、最適化、探索）を論じる。
• 既存の手法の教育的実装を提示する。
• 一連のベンチマーク問題で手法を比較する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークの検証手法（到達性、最適化、探索）の基本的な違いと結びつきは何か？
• RQ2 検証手法を教育的にどのように実装できるか、ベンチマーク問題でどのように性能を発揮するか？
• RQ3 異なるネットワークタイプと特性に対する現行の検証技術の実務上のトレードオフと限界は何か？

主な発見

• 深層ニューラルネットワークの検証手法は、到達性分析、最適化、探索の各領域に存在する。
• 調査されたアルゴリズム間には基本的な違いと結びつきがある。
• 理解と実験を支援するための教育的実装が提供されている。
• 本論文には手法の性能を評価するためのベンチマーク比較が含まれている。