[論文レビュー] Towards Verifying the Geometric Robustness of Large-scale Neural Networks

Fu Wang, Peipei Xu+2 more|arXiv (Cornell University)|Jan 29, 2023

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、回転やスケーリングなどの変換の組み合わせに対して、大規模ニューラルネットワークの幾何的ロバストネスを証明可能に検証するブラックボックスのロバストネス解析手法であるGeoRobustを提案する。Lipschitz最適化を用いることで、ImageNetモデルにおいて数秒の時間で最悪の変換を効率的に特定し、深さと幅が大きいネットワークであるほど幾何的ロバストネスが高くなることが判明。パラメータ数と性能の正の相関関係が確認された。

ABSTRACT

Deep neural networks (DNNs) are known to be vulnerable to adversarial geometric transformation. This paper aims to verify the robustness of large-scale DNNs against the combination of multiple geometric transformations with a provable guarantee. Given a set of transformations (e.g., rotation, scaling, etc.), we develop GeoRobust, a black-box robustness analyser built upon a novel global optimisation strategy, for locating the worst-case combination of transformations that affect and even alter a network's output. GeoRobust can provide provable guarantees on finding the worst-case combination based on recent advances in Lipschitzian theory. Due to its black-box nature, GeoRobust can be deployed on large-scale DNNs regardless of their architectures, activation functions, and the number of neurons. In practice, GeoRobust can locate the worst-case geometric transformation with high precision for the ResNet50 model on ImageNet in a few seconds on average. We examined 18 ImageNet classifiers, including the ResNet family and vision transformers, and found a positive correlation between the geometric robustness of the networks and the parameter numbers. We also observe that increasing the depth of DNN is more beneficial than increasing its width in terms of improving its geometric robustness. Our tool GeoRobust is available at https://github.com/TrustAI/GeoRobust.

研究の動機と目的

• 大規模DNNにおける複合的な幾何的変換に対する、証明可能でスケーラブルなロバストネス検証手法の不足を解消すること。
• ターゲットモデルのアーキテクチャや勾配へのアクセスを必要としないブラックボックス手法の開発。
• Lipschitz連続性を用いた理論的収束保証と、GPU並列処理の効率性を最適化すること。
• ResNets やビジョントランスフォーマーを含む、現代のImageNet分類器における幾何的ロバストネスを実験的にベンチマークすること。
• モデルの深さと幅が、敵対的変換下での幾何的ロバストネスに与える影響を調査すること。

提案手法

• GeoRobustは、Lipschitz理論に基づくグローバル最適化戦略を用い、幾何的変換の最悪の組み合わせを証明可能に特定する。
• 空間変換ネットワーク（STNs）がLipschitz連続であることを証明し、Lipschitz連続なDNNとスタックした場合の理論的収束保証を可能にする。
• 連続的な変換パラメータ空間を効率的に探索するため、空間分割戦略と適応的サンプリングを採用する。
• 関数クエリの高速化と、複数の変換候補を並列に評価可能にするGPUに配慮したサンプリング戦略を導入する。
• 任意の停止時刻において、検証可能な信頼区間を提供する、アニタイム下界推定法を用いる。実用性を高める。
• ブラックボックスとして動作し、入力-出力クエリのみを必要とするため、アーキテクチャや活性化関数に依存しないDNNに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックスで証明可能に収束する手法は、大規模DNNを欺く最悪の幾何的変換の組み合わせを効率的に特定できるか？
• RQ2 STNのLipschitz連続性は、幾何的ロバストネス検証における理論的保証をどのように可能にするか？
• RQ3 現代のImageNet分類器において、モデルサイズ（深さと幅）と幾何的ロバストネスの関係は何か？
• RQ4 GeoRobustの性能は、変換パラメータ数とモデルの複雑さに伴いどのようにスケーリングするか？
• RQ5 敵対的幾何的攻撃は、標準的な敵対的訓練で補われないアーキテクチャ的弱みをどれほど利用するか？

主な発見

• GeoRobustは、ImageNet上のResNet50モデルに対して、設定に応じて平均6.9〜16.1秒で最悪の幾何的変換を特定した。
• ResNets やビジョントランスフォーマーを含む18種類のImageNet分類器において、DNNの幾何的ロバストネスはパラメータ数と正の相関関係にある。
• 深さを増やすことで幾何的ロバストネスが幅を増やすよりもより効果的に向上することが示され、深さはロバストネスの観点でより効率的な設計選択であると考えられる。
• 効率的なGPU並列処理のおかげで、クエリ数に伴う実行時間の増加がサブ線形的となり、高速な収束が達成された。
• 実行中、最悪損失の推定下界は継続的に改善され、アニタイム推定戦略の有効性が示された。
• 敵対的訓練は幾何的ロバストネスを顕著に向上させず、現在の防御手法が幾何的攻撃に対して効果を発揮しない可能性を示唆した。