[論文レビュー] Certifying Incremental Quadratic Constraints for Neural Networks

Navid Hashemi, Justin Ruths+1 more|arXiv (Cornell University)|Dec 10, 2020

Advanced Control Systems Optimization被引用数 1

ひとこと要約

本稿では、与えられた入力領域におけるニューラルネットワークの増分二次制約（IQCs）を証明するための線形行列不等式（LMIs）に基づく凸最適化フレームワークを提案する。この手法により、局所リプシッツ連続性、片側リプシッツ連続性、可逆性、収縮性といった性質の検証が可能となり、鋭いリプシッツ境界の計算やニューラルネットワーク制御フィードバックシステムの安定性解析に応用される。

ABSTRACT

Abstracting neural networks with constraints they impose on their inputs and outputs can be very useful in the analysis of neural network classifiers and to derive optimization-based algorithms for certification of stability and robustness of feedback systems involving neural networks. In this paper, we propose a convex program, in the form of a Linear Matrix Inequality (LMI), to certify incremental quadratic constraints on the map of neural networks over a region of interest. These certificates can capture several useful properties such as (local) Lipschitz continuity, one-sided Lipschitz continuity, invertibility, and contraction. We illustrate the utility of our approach in two different settings. First, we develop a semidefinite program to compute guaranteed and sharp upper bounds on the local Lipschitz constant of neural networks and illustrate the results on random networks as well as networks trained on MNIST. Second, we consider a linear time-invariant system in feedback with an approximate model predictive controller parameterized by a neural network. We then turn the stability analysis into a semidefinite feasibility program and estimate an ellipsoidal invariant set for the closed-loop system.

研究の動機と目的

• 指定された入力領域におけるニューラルネットワークの増分二次制約をスケーラブルかつ検証可能に証明する手法の開発。
• 局所リプシッツ連続性、片側リプシッツ連続性、可逆性、収縮性といった重要なネットワーク特性の検証を可能にする。
• 半正定値計画法を用いた計算的に扱いやすいフレームワークを提供し、ニューラルネットワークベースの制御システムにおけるロバストネスと安定性解析を実現する。
• ランダムネットワークおよびトレーニング済みネットワークの両方に対して、局所リプシッツ定数の保証付きで鋭い上界を計算する。
• 閉ループ系にニューラルネットワークコントローラを含む場合の楕円型不変集合を推定し、半正定値妥当性プログラムを用いて安定性を保証する。

提案手法

• ニューラルネットワーク写像における増分二次制約の検証を目的とした線形行列不等式（LMI）形式の凸計画問題を定式化する。
• LMIフレームワークを用いて、指定された関心領域における局所リプシッツ連続性や収縮性といった性質の符号化と検証を実施する。
• 半正定値計画法を用いて、ニューラルネットワークの局所リプシッツ定数の上界を計算し、鋭さの保証を付与する。
• ニューラルネットワークモデル予測制御とフィードバック接続された線形時不変系の安定性解析を、半正定値妥当性プログラムに変換する。
• IQC証明を活用して、閉ループ系の楕円型不変集合を推定し、ロバスト安定性を保証する。
• 凸緩和と凸最適化技術を活用し、計算の扱いやすさと検証の妥当性を確保する。

実験結果

リサーチクエスチョン

• RQ1 与えられた入力領域におけるニューラルネットワークの増分二次制約を検証するための凸最適化フレームワークを開発可能か？
• RQ2 凸計画法を用いて、保証付き上界でニューラルネットワークの局所リプシッツ定数を計算する方法は何か？
• RQ3 IQC証明は、ニューラルネットワークコントローラを含むフィードバック系の安定性解析をどの程度改善できるか？
• RQ4 提案手法は、ニューラルネットワークコントローラを有する閉ループ系の不変集合を推定可能か？安定性を保証できるか？
• RQ5 特にMNISTにトレーニングされたネットワークに対して、計算されたリプシッツ上界は、従来手法と比較してどの程度鋭いか？

主な発見

• 提案されたLMIベースの手法は、ランダムネットワークおよびMNISTにトレーニングされたネットワークの両方に対して、保証付きで鋭い局所リプシッツ定数の上界を正確に計算できた。
• この手法により、指定された入力領域内での局所リプシッツ連続性、片側リプシッツ連続性、可逆性、収縮性といった重要なネットワーク特性の検証が可能となった。
• ニューラルネットワークコントローラを含むフィードバック系では、安定性解析が半正定値妥当性プログラムに変換され、楕円型不変集合の推定が可能となった。
• フレームワークは、増分二次制約の証明に妥当かつ計算的に扱いやすい方法を提供し、ロバストネスと安定性の保証を実現した。
• 結果は、定量的な保証付きの境界を提供する本手法の有効性を示しており、ロバストネスの検証と安定性解析の両面で実用的であることが明らかになった。
• 特に深層ネットワークやトレーニング済みモデルにおいて、従来手法と比較してリプシッツ上界のタイトさが向上した。