[論文レビュー] Automatic Perturbation Analysis for Scalable Certified Robustness and Beyond

Kaidi Xu, Zhouxing Shi+7 more|arXiv (Cornell University)|Feb 28, 2020

Adversarial Robustness in Machine Learning参考文献 53被引用数 92

ひとこと要約

この論文は、一般のニューラルネットワークグラフへ perturbation analysis を一般化する自動 LiRPA フレームワークを提示し、大規模なアーキテクチャとデータセットでスケーラブルで微分可能、loss-fusion–enabled の認定ロバスト性を実現する。

ABSTRACT

Linear relaxation based perturbation analysis (LiRPA) for neural networks, which computes provable linear bounds of output neurons given a certain amount of input perturbation, has become a core component in robustness verification and certified defense. The majority of LiRPA-based methods focus on simple feed-forward networks and need particular manual derivations and implementations when extended to other architectures. In this paper, we develop an automatic framework to enable perturbation analysis on any neural network structures, by generalizing existing LiRPA algorithms such as CROWN to operate on general computational graphs. The flexibility, differentiability and ease of use of our framework allow us to obtain state-of-the-art results on LiRPA based certified defense on fairly complicated networks like DenseNet, ResNeXt and Transformer that are not supported by prior works. Our framework also enables loss fusion, a technique that significantly reduces the computational complexity of LiRPA for certified defense. For the first time, we demonstrate LiRPA based certified defense on Tiny ImageNet and Downscaled ImageNet where previous approaches cannot scale to due to the relatively large number of classes. Our work also yields an open-source library for the community to apply LiRPA to areas beyond certified defense without much LiRPA expertise, e.g., we create a neural network with a probably flat optimization landscape by applying LiRPA to network parameters. Our opensource library is available at https://github.com/KaidiXu/auto_LiRPA.

研究の動機と目的

• 一般の計算グラフ上で動作する自動 perturbation analysis フレームワーク（LiRPA）を開発する。
• 複雑なアーキテクチャで認定ロバスト性トレーニングに適した微分可能でスケーラブルな境界を実現する。
• LiRPA の計算コストを削減するロスフュージョンを導入し、大規模データセットと多数クラスでのトレーニングを可能にする。
• ロバスト性だけでなく、Lp球を超える摂動やパラメータ空間分析など、適用範囲を広げる。
• アーキテクチャ特定の導出なしに LiRPA を適用するオープンソースライブラリを提供する。

提案手法

• DAG上での順伝搬・逆伝搬による境界伝播を介して、General computational graphs に LiRPA を一般化する。
• 入力境界から従属ノードの境界を計算する forward LiRPAオラクル G_i を定義する。
• 出力境界を前のノードへ伝搬して A_i 行列を導出する backward LiRPAオラクル F_i を定義する。
• 動的計算を用いて、Lp-ball や同義語置換を含む任意の摂動に対する線形境界を具体化する。
• Loss fusion を導入して、loss/logit 出力上で直接厳密な境界を計算し、クラス数への依存を低減する。
• 多様なモデルと摂動設定へ LiRPA を適用するためのオープンソースライブラリ auto_LiRPA を提供する。

実験結果

リサーチクエスチョン

• RQ1 LiRPA の境界は manual derivations なしに任意のニューラルネットワークアーキテクチャに自動的に導出できるか？
• RQ2 forward および backward LiRPA の伝搬を組み合わせて、一般的なグラフで単一出力ノードに対する証明可能な境界を得られるか？
• RQ3 Loss fusion は LiRPA の計算負荷を十分に削減し、大規模データセット・多数クラスへスケールできるか？
• RQ4 DenseNet, ResNeXt, Transformer などの複雑なアーキテクチャと Tiny ImageNet, Downscaled ImageNet などの大規模データセットで LiRPA ベースの認定防御のトレーニングは効果的か？
• RQ5 LiRPA に基づく摂動分析は伝統的なLp-ball のみならず、他の摂動タイプ（例：同義語置換）やパラメータ空間分析へ拡張できるか？

主な発見

• このフレームワークは ε=8/255 で CIFAR-10 の最先端の検証防御結果を達成し、検証誤差 66.62% を報告する。
• これにより、従来手動導出の制約のためサポートされていなかった DenseNet, ResNeXt, Transformer アーキテクチャで LiRPA ベースの認定防御トレーニングを可能にした。
• Loss fusion によって LiRPA のトレーニングコストが CIFAR-10 および Tiny ImageNet で自然トレーニングの 3-4 倍遅い程度に削減され、クラス数が多い場合にもスケール可能になる。
• Tiny ImageNet および Downscaled ImageNet での初の LiRPA ベース認定防御を実証し、数百から千クラスのデータセットへの拡張性を示した。
• LiRPA の適用可能性を広げ、モデルパラメータの摂動分析を可能にし、非Lp 摂動（例：同義語ベースの NLP 摂動）に対するフレームワークを提供することで、より広い用途を示す。