[論文レビュー] Verification of Non-Linear Specifications for Neural Networks

Chongli Qin, Krishnamurthy+8 more|arXiv (Cornell University)|Feb 25, 2019

Adversarial Robustness in Machine Learning参考文献 35被引用数 15

ひとこと要約

この論文は、凸緩和技術を用いて検証可能な非線形性の性質である凸緩和可能な仕様（convex-relaxable specifications）を導入する。エネルギー保存則、意味的一致性、数字の和の予測精度といった複雑なニューラルネットワークの性質を効果的に検証し、従来の線形検証では見逃されるモデルの失敗を明らかにする。

ABSTRACT

Prior work on neural network verification has focused on specifications that are linear functions of the output of the network, e.g., invariance of the classifier output under adversarial perturbations of the input. In this paper, we extend verification algorithms to be able to certify richer properties of neural networks. To do this we introduce the class of convex-relaxable specifications, which constitute nonlinear specifications that can be verified using a convex relaxation. We show that a number of important properties of interest can be modeled within this class, including conservation of energy in a learned dynamics model of a physical system; semantic consistency of a classifier's output labels under adversarial perturbations and bounding errors in a system that predicts the summation of handwritten digits. Our experimental evaluation shows that our method is able to effectively verify these specifications. Moreover, our evaluation exposes the failure modes in models which cannot be verified to satisfy these specifications. Thus, emphasizing the importance of training models not just to fit training data but also to be consistent with specifications.

研究の動機と目的

• 線形仕様を超えて、より豊富な非線形性を持つ性質へのニューラルネットワーク検証を拡張すること。
• 凸緩和に基づく検証に適した非線形仕様のクラスを特定・形式化すること。
• ニューラルネットワークにおける複雑で現実世界の性質を検証する実用的価値を示すこと。
• 標準的な学習では捉えきれない、非線形仕様に違反するモデルの失敗モードを明らかにし、標準的な訓練の限界を浮き彫りにすること。

提案手法

• 非線形性はあるが、凸緩和による検証に適した仕様のクラスを提案する。
• 凸緩和を用いて非線形仕様を取り扱い可能な最適化問題に変換する。
• このフレームワークを、動的モデルにおけるエネルギー保存則や分類器における意味的一致性の検証に適用する。
• 最適化に基づく検証を用いて、ニューラルネットワークがこれらの非線形制約を満たしているかどうかを確認する。
• 非線形仕様を既存の検証フレームワークに統合する検証パイプラインを設計する。
• 数字の和の計算や物理的ダイナミクス予測といったタスクに学習させたモデルに対して、このアプローチを検証する。

実験結果

リサーチクエスチョン

• RQ1 エネルギー保存則のような非線形仕様は、凸緩和を用いてニューラルネットワークで効果的に検証可能か？
• RQ2 明示的な仕様制約なしに学習されたモデルは、意味的一致性のような非線形性を持つ性質に対して、どのように評価されるか？
• RQ3 標準的な検証手法は、非線形仕様に違反するモデルの問題をどの程度検出できないか？
• RQ4 凸緩和可能な仕様を用いることで、線形検証では検出されないニューラルネットワークの失敗モードを特定・暴露できるか？

主な発見

• 提案手法は、学習されたダイナミクスモデルにおけるエネルギー保存則のような複雑な非線形性を効果的に検証できた。
• 非線形仕様を満たさないモデルが特定され、線形検証では検出できない不一致が明らかになった。
• 敵対的摂動下での分類器出力の意味的一致性が、提案されたフレームワークを用いて効果的に検証された。
• 手書き数字の和を予測するモデルの誤りが、本手法によって同定され、回帰的タスクにおける有用性が示された。
• 検証により、標準的な学習では重要な非線形性の性質を満たす保証がないことが判明し、仕様に配慮した学習の必要性が強調された。
• 本手法により、そうでなければ見過ごされがちな失敗モードの検出が可能となり、仕様駆動型のモデル開発の重要性が浮き彫りになった。