[論文レビュー] Formal Verification of CNN-based Perception Systems

Panagiotis Kouvaros, Alessio Lomuscio|arXiv (Cornell University)|Nov 28, 2018

Adversarial Robustness in Machine Learning参考文献 13被引用数 22

ひとこと要約

本論文は、アフィン変換および光度的画像変換に対する局所的変換安定性を評価するために、混合整数線形計画法（MILP）を用いた畳み込みニューラルネットワーク（CNN）ベースの認識システムの形式的検証手法を提案する。この手法は完全であり、自動的に安定性違反を同定する。標準的なMNIST用CNNは微小な変換に対して脆さを示しており、検証された変換を用いた敵対的微調整の後、精度が19%から26%に向上した。

ABSTRACT

We address the problem of verifying neural-based perception systems implemented by convolutional neural networks. We define a notion of local robustness based on affine and photometric transformations. We show the notion cannot be captured by previously employed notions of robustness. The method proposed is based on reachability analysis for feed-forward neural networks and relies on MILP encodings of both the CNNs and transformations under question. We present an implementation and discuss the experimental results obtained for a CNN trained from the MNIST data set.

研究の動機と目的

• 安全で臨界な自律システムにおける学習を内蔵する認識部の形式的検証手法の欠如に対処すること。
• 実世界での展開に適した幾何的および光度的画像変化を対象とする、新たな安定性の概念「局所的変換安定性」を定義すること。
• 指定された変換下で、すべての安定性違反を検出可能な完全で自動化されたCNN分類器の検証手法を開発すること。
• 形式的検証と敵対的微調整を組み合わせて、CNNの安定性を体系的に評価・向上できることを可能にすること。
• ピクセル単位の摂動に基づく従来の局所的安定性から、構造的な画像変換へと形式的検証技術を拡張し、保証の関連性とタイトさを向上させること。

提案手法

• 本手法は、順方向ニューラルネットワークの到達可能性解析タスクとして、安定性検証問題を定式化する。
• CNNアーキテクチャと変換制約を、混合整数線形計画法（MILP）に符号化する。
• MILP定式化により完全な検証が可能となる：変換下で誤分類が存在する場合、必ず検出される。
• 本手法は、平行移動、スケーリング、回転、輝度変化、コントラスト変化など、広範な変換をサポートする。
• Venusと呼ばれるツールで実装されており、再訓練用に変換画像を生成する。
• MNISTで学習されたCNNに適用され、検証および再訓練のパイプラインが完全に自動化されている。

実験結果

リサーチクエスチョン

• RQ1 構造的な画像変換に対して、CNNベースの認識システムの形式的検証が完全性保証のもとで達成可能か？
• RQ2 局所的変換安定性は、ピクセル単位の摂動に基づく従来の局所的安定性とどのように異なり、どのように改善されるか？
• RQ3 MNISTで学習された標準的なCNN、例えば平行移動やコントラスト変化といった現実的な画像変換に対して、どの程度の安定性を示すか？
• RQ4 検証された変換データを用いて、敵対的微調整によりCNNの安定性を向上させられるか？
• RQ5 MILPに基づく検証手法のスケーラビリティは、ネットワークサイズと変換の複雑さにどのように依存するか？

主な発見

• MNISTで学習されたCNNは、局所的変換安定性を欠いており、微小な平行移動、ズーム、サブサンプリングに対しても誤分類が発生した。
• 輝度変化およびコントラスト変化に対しても脆弱性を示し、光度的変化に対しては著しい不安定性を示した。
• 検証により、変換されたMNIST画像におけるネットワークの精度が再訓練前は19%まで低下した。
• VENUSツールで生成された10,000枚以上の変換画像を訓練データに追加した後、ネットワークの精度は26%に向上した。
• MILPに基づく手法は、指定された変換下ですべての安定性違反を正しく同定し、完全性が確認された。
• ネットワークサイズの増加に伴いMILP符号化が重くなり、手法の性能が低下するため、スケーラビリティの向上が求められる。