[論文レビュー] Certifying Incremental Quadratic Constraints for Neural Networks via Convex Optimization

Navid Hashemi, Justin Ruths+1 more|arXiv (Cornell University)|Dec 10, 2020

Adversarial Robustness in Machine Learning参考文献 33被引用数 5

ひとこと要約

本稿では、与えられた入力領域におけるフィードフォワードReLUニューラルネットワークの増分二次的制約（局所リプシッツ連続性、片側リプシッツ性、収縮性など）を証明するための線形行列不等式（LMIs）に基づく凸最適化フレームワークを提案する。この手法により、半正定値計画法（SDP）を用いて局所リプシッツ定数の鋭い保証上限とニューラルネットワーク制御系の安定性解析が可能となり、MNISTおよび近似モデル予測制御の例題で検証された。

ABSTRACT

Abstracting neural networks with constraints they impose on their inputs and outputs can be very useful in the analysis of neural network classifiers and to derive optimization-based algorithms for certification of stability and robustness of feedback systems involving neural networks. In this paper, we propose a convex program, in the form of a Linear Matrix Inequality (LMI), to certify incremental quadratic constraints on the map of neural networks over a region of interest. These certificates can capture several useful properties such as (local) Lipschitz continuity, one-sided Lipschitz continuity, invertibility, and contraction. We illustrate the utility of our approach in two different settings. First, we develop a semidefinite program to compute guaranteed and sharp upper bounds on the local Lipschitz constant of neural networks and illustrate the results on random networks as well as networks trained on MNIST. Second, we consider a linear time-invariant system in feedback with an approximate model predictive controller parameterized by a neural network. We then turn the stability analysis into a semidefinite feasibility program and estimate an ellipsoidal invariant set for the closed-loop system.

研究の動機と目的

• 関心領域におけるニューラルネットワーク写像の増分二次的制約を証明するための凸最適化手法を開発すること。
• 深層ニューラルネットワークの局所リプシッツ定数に対する保証され鋭い上界を提供すること。
• ニューラルネットワークが制御器として機能するフィードバック系の安定性解析を、半正定値計画法による不変集合の計算により可能にすること。
• ランダムネットワークおよび学習済みネットワークにおける既存のリプシッツ推定手法のスケーラビリティと精度の限界を克服すること。
• 二次的制約フレームワークの適用範囲を、ロバスト制御および検証の分野におけるニューラルネットワークに拡張すること。

提案手法

• 指定された領域におけるReLUニューラルネットワークの入出力挙動に関する増分二次的制約を証明するための線形行列不等式（LMI）を定式化する。
• 入力集合上の区間解析を用いて事前活性化境界を計算し、ニューロンの活性状態を特徴付ける。
• 補題3.4を適用して、事前活性化境界を用いて活性化関数を増分二次的制約として表現する。
• 定理4.1を用いて、領域全体で与えられた二次的制約を満たすことを保証するLMI条件を導出する。
• 得られた半正定値計画問題（SDP）を解き、ニューラルネットワーク制御系の閉ループ系における最大の楕円型不変集合を計算する。
• 入力領域のサイズを二分探索し、楕円型集合が制約集合内に保たれる最大のβを求める。

実験結果

リサーチクエスチョン

• RQ1 ReLUニューラルネットワークに対して、凸最適化を用いて増分二次的制約を効率的に証明できるか？
• RQ2 このLMIに基づくアプローチを用いることで、ニューラルネットワークの局所リプシッツ定数はどの程度正確かつスケーラブルに推定可能か？
• RQ3 このフレームワークを用いて、ニューラルネットワーク制御器を備えた閉ループ系の保証された不変集合を計算できるか？
• RQ4 提案手法における保守性、実行時間、メモリ使用量のトレードオフはいかなるものか？
• RQ5 既存のリプシッツ推定技術と比較して、本手法の精度とスケーラビリティはどのように異なるか？

主な発見

• 提案手法は、ニューラルネットワークの局所リプシッツ定数に対して保証され鋭い上界を計算でき、既存手法よりも精度とスケーラビリティの両面で優れている。
• MNISTで学習されたネットワークに対して、FastLipや他の区間ベース手法よりもタイトなリプシッツ境界が得られ、計算効率も向上した。
• 2次積分器系をReLUネットワークがモデル予測制御を近似して制御する場合、半径β = 0.669² / min_i (e_i^T P^{-1} e_i) の楕円型不変集合を効果的に計算できた。
• 二分探索により、最大の実行可能ε* = 0.669が特定され、LMIの不変性条件を満たす正定値行列Pの存在が保証された。
• 得られた楕円型不変集合は可視化され、到達集合のシミュレーションにより正の不変性が確認された。
• 本手法により、問題を保証付きの半正定値可解性計画問題に変換することで、ニューラルネットワーク制御系の安定性証明が可能になった。