[論文レビュー] Provable, Scalable and Automatic Perturbation Analysis on General Computational Graphs

Kaidi Xu, Zhouxing Shi+7 more|arXiv (Cornell University)|Feb 28, 2020

Adversarial Robustness in Machine Learning参考文献 3被引用数 2

ひとこと要約

本論文は、計算グラフを用いて任意のニューラルネットワークアーキテクチャに対して証明可能な摂動解析を一般かつ自動的に行うフレームワークを提示する。LiRPAをDenseNet、ResNeXt、Transformerのような複雑なモデルへ拡張し、Tiny ImageNet や Downscaled ImageNet といった大規模データセットにおいて最先端の認証防御を実現する。損失統合とオープンソースツールキットを活用することで実現した。

ABSTRACT

Linear relaxation based perturbation analysis (LiRPA) for neural networks, which computes provable linear bounds of output neurons given a certain amount of input perturbation, has become a core component in robustness verification and certified defense. The majority of LiRPA-based methods only consider simple feed-forward networks and it needs particular manual derivations and implementations when extended to other architectures. In this paper, we develop an automatic framework to enable perturbation analysis on any neural network structures, by generalizing exiting LiRPA algorithms such as CROWN to operate on general computational graphs. The flexibility, differentiability and ease of use of our framework allow us to obtain state-of-the-art results on LiRPA based certified defense on fairly complicated networks like DenseNet, ResNeXt and Transformer that are not supported by prior work. Our framework also enables loss fusion, a technique that significantly reduces the computational complexity of LiRPA for certified defense. For the first time, we demonstrate LiRPA based certified defense on Tiny ImageNet and Downscaled ImageNet where previous approaches cannot scale to due to the relatively large number of classes. Our work also yields an open-source library for the community to apply LiRPA to areas beyond certified defense without much LiRPA expertise, e.g., we create a neural network with a provably flat optimization landscape. Our open source library is available at this https URL.

研究の動機と目的

• 単純なフォワードプロパゲーションネットワークを超えて、任意のニューラルネットワークアーキテクチャに対して自動的かつ証明可能な摂動解析を可能にすること。
• 既存のLiRPA手法（例：CROWN）を、手動での導出を必要とせず、任意の計算グラフ上で動作可能に一般化すること。
• 損失統合を活用して、認証防御における計算複雑性を低減し、大規模なモデルやデータセットへのスケーラビリティを向上させること。
• Tiny ImageNet や Downscaled ImageNet のような大規模でクラス数の多いデータセットにおける認証防御を可能にすること。これは従来の手法では実現不可能であった。
• LiRPAを認証防御を超えた多様な応用に活用するための障壁を下げるオープンソースライブラリを提供すること。

提案手法

• 微分可能演算を通じた境界伝播のモデル化により、LiRPAアルゴリズムを任意の計算グラフに一般化する。
• 微分可能性と自動微分を活用して、複雑なアーキテクチャにわたりエンドツーエンドで自動的な境界計算を実現する。
• LiRPAにおけるバックワードパスの回数を削減する損失統合を導入し、認証防御における計算コストを顕著に低減する。
• 境界計算グラフを介したバックプロパゲーションをサポートし、頑健性と精度の共同最適化を可能にする。
• 計算グラフ内における任意のレイヤーや演算に対して、自動的に線形緩和境界を導出し適用する。
• 既存のディープラーニングフレームワークへのプラグイン統合を可能にするモジュラで拡張可能なライブラリを提供する。

実験結果

リサーチクエスチョン

• RQ1 手動での導出を必要とせず、LiRPAに基づく摂動解析を任意のニューラルネットワークアーキテクチャに自動的に適用できるか？
• RQ2 大規模なモデルやデータセットにおけるLiRPAベースの認証防御における計算複雑性をどのように低減できるか？
• RQ3 Tiny ImageNet や Downscaled ImageNet のようなクラス数の多いデータセットに対し、LiRPAベースの認証防御を適用することが可能か？
• RQ4 本フレームワークは、認証防御を超えて、例えば証明可能な平坦な最適化領域を持つ学習といった、LiRPAの新たな応用を可能にするか？
• RQ5 複雑なアーキテクチャにおいて、従来のLiRPA手法と比較して本フレームワークの性能とスケーラビリティはどのように異なるか？

主な発見

• 本フレームワークにより、DenseNet や ResNeXt、Transformer といった複雑なアーキテクチャにおいて、LiRPAが以前は対応していなかった分野で最先端の認証防御が可能になった。
• 損失統合により、LiRPAベースの認証防御における計算複雑性が低減され、大規模なモデルでの効率的な学習が実現した。
• Tiny ImageNet や Downscaled ImageNet におけるLiRPAベースの認証防御が、初めて実証された。これは従来のアプローチのスケーラビリティ制限を克服した。
• 本フレームワークにより、証明可能な平坦な最適化領域を持つニューラルネットワークの構築が可能となり、頑健性を超えた応用の広がりを示した。
• オープンソースライブラリがリリースされ、摂動解析の専門知識がほとんど不要な状態で、研究者がLiRPAを新たな分野に応用できるようになった。