[論文レビュー] Maximum Resilience of Artificial Neural Networks

Chih‐Hong Cheng, Georg Nührenberg+1 more|arXiv (Cornell University)|Apr 28, 2017

Adversarial Robustness in Machine Learning参考文献 16被引用数 6

ひとこと要約

この論文は、人工ニューラルネットワーク（ANN）の入力ノイズや対向攻撃に対する耐性を形式的に定量的に評価できる、検証済みの最大摂動バウンドを計算する、新しいMIPベースのアプローチを提案する。カスタマイズされたMIPエンコーディングヒューリスティクスと並列化された分枝限定法を活用することで、標準的なMIPエンコーディングに比べて最大2桁の高速化を達成し、MNISTおよびロボット制御ベンチマークにおいてスケーラビリティを示した。

ABSTRACT

The deployment of Artificial Neural Networks (ANNs) in safety-critical applications poses a number of new verification and certification challenges. In particular, for ANN-enabled self-driving vehicles it is important to establish properties about the resilience of ANNs to noisy or even maliciously manipulated sensory input. We are addressing these challenges by defining resilience properties of ANN-based classifiers as the maximal amount of input or sensor perturbation which is still tolerated. This problem of computing maximal perturbation bounds for ANNs is then reduced to solving mixed integer optimization problems (MIP). A number of MIP encoding heuristics are developed for drastically reducing MIP-solver runtimes, and using parallelization of MIP-solvers results in an almost linear speed-up in the number (up to a certain limit) of computing cores in our experiments. We demonstrate the effectiveness and scalability of our approach by means of computing maximal resilience bounds for a number of ANN benchmark sets ranging from typical image recognition scenarios to the autonomous maneuvering of robots.

研究の動機と目的

• 自己走行車両のANNベースの認識システムに特化した、安全で重要なAIシステムにおける耐性の検証という、極めて重要な課題に取り組むこと。
• ANNが誤分類を起こす前に耐えられる最大の入力摂動を形式的に定量的に測定することにより、ノイズや対向入力に対して耐性があることを保証すること。
• 最適化を用いて、マルチクラスANNの正確で検証済みのバウンドを計算する、スケーラブルで効率的な検証フレームワークを開発すること。
• センサーシステムとニューラルネットワーク分類器の間で形式的な仮定・保証インターフェースを提供し、センサードライバ設計とネットワーク設計を分離すること。
• 異なるANNの入力摂動に対する耐性に基づいて客観的な比較が可能となるようにし、モデル選定や改善を支援すること。

提案手法

• ReLUやマックスプーリングなどの非線形活性化関数をbig-M線形化法を用いてエンコードすることで、最大耐性を計算する問題を混合整数プログラミング（MIP）問題に還元する。
• 最小big-M値を計算するためのデータフロー解析を採用し、MIPソルバーの探索空間を著しく縮小し、性能向上を図る。
• 複数の簡略化されたMIPサブ問題を解くなどのヒューリスティクス戦略を適用し、妥当解の探索を加速する。
• 複数のCPUコアにわたる並列化された分枝限定法実行により、特定のコア数の閾値までほぼ線形の高速化を達成する。
• ソフトマックス出力の信頼度に基づく耐性指標を定義し、摂動下でも分類順序が維持されるようにする。
• 最大摂動バウンドΦₘを、クラス優位性を保持しつつ入力のずれを最大化する最適化問題の解として計算する。

実験結果

リサーチクエスチョン

• RQ1 訓練済みANNの入力摂動（特に対向ノイズを含む）に対する最大耐性を、形式的かつ定量的に測定する方法は何か？
• RQ2 ANNの耐性検証におけるソルバ実行時間の大幅な短縮を実現するMIPエンコーディング戦略は何か？
• RQ3 分枝限定法の並列化は、大規模または複雑なANNの検証タスクにおけるスケーラビリティをどの程度向上できるか？
• RQ4 元の分類の信頼度αが、最大許容摂動バウンドにどのように影響するか？
• RQ5 計算された摂動バウンドは、安全で重要なシステムにおけるセンサーシステム設計とニューラルネットワーク設計を分離するための形式的インターフェースとして機能するか？

主な発見

• カスタマイズされたヒューリスティクスを用いたMIPエンコーディングは、標準的なMIPエンコーディングに比べて約2桁の高速化を達成した。
• 最大32コアで分枝限定法を並列化した場合、大多数のベンチマークインスタンスでほぼ線形の高速化が得られたが、特定の問題タイプでは32コアを超えると性能が頭打ちになった。
• ε=0.01のMNISTベンチマークでは、12スレッドでΦₘを1秒未塔で計算可能であり、標準的な画像分類タスクにおける高い効率性を示した。
• ロボット制御ネットワーク（例：DeepTraffic）のような複雑なネットワークに対しても、360コアでΦₘを15分未塔で計算可能であり、実世界の応用へのスケーラビリティを示した。
• 信頼度閾値αを高めると、予想通りにΦₘの計算バウンドも上昇したが、αがネットワークが達成可能な最大信頼度を超えると、解が存在しなくなった。
• 誤分類を引き起こす最小摂動入力を効果的に計算でき、これを訓練データに追加することで一般化性能の向上が可能である。