[論文レビュー] A Provable Defense for Deep Residual Networks

Matthew Mirman, Gagandeep Singh+1 more|arXiv (Cornell University)|Mar 29, 2019

Adversarial Robustness in Machine Learning参考文献 44被引用数 17

ひとこと要約

この論文は、微分可能抽象解釈を用いて、ResNet-34 や DenseNet-100 などの大規模なモデルにおいて検証可能かつロバストな性能を実現する、証明可能防御を導入する。精度制御のための抽象層を提案するとともに、複雑な訓練目的を組み立てるためのドメイン固有言語（DSL）を提供し、ℓ∞ ノイズに対して保証されたロバスト性を有する、ImageNet サイズのネットワークにおける最初の証明可能ロバスト訓練を達成する。

ABSTRACT

We present a training system, which can provably defend significantly larger neural networks than previously possible, including ResNet-34 and DenseNet-100. Our approach is based on differentiable abstract interpretation and introduces two novel concepts: (i) abstract layers for fine-tuning the precision and scalability of the abstraction, (ii) a flexible domain specific language (DSL) for describing training objectives that combine abstract and concrete losses with arbitrary specifications. Our training method is implemented in the DiffAI system.

研究の動機と目的

• ResNet-34 のような大規模なディープ残差ネットワークにおけるスケーラブルで証明可能なロバスト訓練の欠如に対処すること。
• 従来の手法が最大2つの畳み込み層を有する小さなネットワークでのみ証明可能なロバスト性を達成できたという制限を克服すること。
• 形式的検証を用いて、ℓ∞ 乱数に対する攻撃に対して保証されたロバスト性を持つディープネットワークの訓練を可能にすること。
• 実用的でスケーラブルなデプロイメントを可能にするために、形式的検証をエンドツーエンドの訓練と統合するシステムの開発。

提案手法

• 標準的な推論に影響を与えないが、抽象解釈に基づく検証における精度とスケーラビリティを向上させる、特別な層である抽象層を導入する。
• 入力の摂動に対してネットワーク出力の音声的過近似を計算するために、微分可能な抽象解釈を採用する。
• 抽象的損失とコンcrete損失を任意のロバスト性仕様と組み合わせたハイブリッド訓練目的を指定できる、柔軟なドメイン固有言語（DSL）を設計する。
• DiffAI システムを用いて、DSL と抽象解釈を統合し、証明可能なロバスト性保証を伴うエンドツーエンドで微分可能な訓練を実現する。
• 各層に抽象変換器を適用し、ℓ∞ 範囲内での入力摂動集合に対してネットワーク挙動を過近似するグローバル抽象変換器を構成する。
• 双対法と抽象解釈を活用して、訓練中に証明可能なロバスト性証明を導出し、指定された摂動半径内すべての入力に対してロバスト性を保証する。

実験結果

リサーチクエスチョン

• RQ1 抽象層は、大規模な残差ネットワークにおける抽象解釈の精度とスケーラビリティを向上させることができるか？
• RQ2 ハイブリッド訓練目的を指定するためのDSLは、証明可能ロバスト訓練におけるコンcrete損失と抽象的損失の有効な組み合わせを可能にするか？
• RQ3 ℓ∞ 乱数攻撃に対して形式的保証を有するResNet-34モデルの訓練は可能か？
• RQ4 従来の手法が小さなアーキテクチャでのみ動作していたのに対し、本手法はより大きなネットワークへのスケーリングはどの程度可能か？
• RQ5 訓練ループに形式的検証を統合することで、ImageNet サイズのモデルに対する実用的でスケーラブルな防御が実現可能か？

主な発見

• 提案手法は、He ら（2016）が提唱した最小の残差ネットワークアーキテクチャとしてのResNet-34について、証明可能なロバスト性を達成した、画期的な出来事である。
• DenseNet-100 に対しても効果的に防御でき、小さなネットワークをはるかに超えたスケーラビリティを示した。
• 抽象層の使用により、標準的な推論に影響を与えずに抽象化の精度が向上し、よりタイトなロバスト性バウンディングが可能になった。
• DSL を用いることで、抽象的損失とコンcrete損失を組み合わせた複雑な訓練目的を柔軟に指定でき、ロバスト性の向上に寄与した。
• 本手法は、最大1800万パラメータおよび311,000ニューロンを有するネットワークにスケーリング可能であり、従来の証明可能ロバスト訓練手法と比較して、サイズが10倍程度に拡大された。
• 本手法は、ImageNet サイズのモデルに対し、検証可能なロバスト性を達成し、深層学習における形式的ロバスト性分野における重要な前進をもたらした。