[論文レビュー] Automatic Perturbation Analysis on General Computational Graphs.

Kaidi Xu, Zhouxing Shi+6 more|arXiv (Cornell University)|Feb 28, 2020

Adversarial Robustness in Machine Learning参考文献 45被引用数 9

ひとこと要約

この論文は、一般の計算グラフ向けの自動摂動解析フレームワークを導入し、任意のニューラルネットワークアーキテクチャにおいて微分可能で、バックプロパゲーションに類似した線形境界の計算を可能にする。CROWNのような線形緩和法をPyTorchに統合されたグラフベースのアルゴリズムに一般化することで、自動的で信頼性の高いロバストネス検証、認証防御、および訓練によるロバストで平坦な最適化領域や量子化に強いモデルの構築といった新たな応用が可能になる。

ABSTRACT

Linear relaxation based perturbation analysis for neural networks, which aims to compute tight linear bounds of output neurons given a certain amount of input perturbation, has become a core component in robustness verification and certified defense. However, the majority of linear relaxation based methods only consider feed-forward ReLU networks. While several works extended them to relatively complicated networks, they often need tedious manual derivations and implementation which are arduous and error-prone. Their limited flexibility makes it difficult to handle more complicated tasks. In this paper, we take a significant leap by developing an automatic perturbation analysis algorithm to enable perturbation analysis on any neural network structure, and its computation can be done automatically in a similar manner as the back-propagation algorithm for gradient computation. The main idea is to express a network as a computational graph and then generalize linear relaxation algorithms such as CROWN as a graph algorithm. Our algorithm itself is differentiable and integrated with PyTorch, which allows to optimize network parameters to reshape bounds into desired specifications, enabling automatic robustness verification and certified defense. In particular, we demonstrate a few tasks that are not easily achievable without an automatic framework. We first perform certified robust training and robustness verification for complex natural language models which could be challenging with manual derivation and implementation. We further show that our algorithm can be used for tasks beyond certified defense - we create a neural network with a provably flat optimization landscape and study its generalization capability, and we show that this network can preserve accuracy better after aggressive weight quantization. Code is available at this https URL.

研究の動機と目的

• 既存の線形緩和法がフィードフォワードReLUネットワークに限定されており、手作業による導出を要するという制限を克服すること。
• 複雑なニューラルネットワークアーキテクチャに対しても、繰り返し手作業で実装する必要のない、自動的でエンドツーエンドの摂動解析を可能にすること。
• 自然言語変換器のような複雑なモデルにおける認証可能ロバストトレーニングやロバストネス検証といった高度なタスクをサポートすること。
• 認証防御を超えて、最適化領域の設計や量子化耐性といった分野へ摂動解析の有用性を拡張すること。
• ネットワークパラメータの最適化によってロバストネス境界を所望の仕様に調整できる、微分可能でPyTorch統合型のフレームワークを提供すること。

提案手法

• 線形緩和技術の体系的適用を可能にするために、ニューラルネットワークを計算グラフとして表現すること。
• CROWNのような線形緩和アルゴリズムを、計算ノードを通り抜ける境界の伝播を可能にするグラフアルゴリズムに一般化すること。
• バックプロパゲーションに類似した微分可能プロセスとして摂動解析を定式化し、ネットワークパラメータの勾配ベース最適化を可能にすること。
• PyTorchとの統合により、自動微分をサポートし、ロバストネス目的でのスムーズなトレーニングを可能にすること。
• ネットワークパラメータの最適化により、平坦な損失領域やより良い量子化耐性といった所望の特性を持つ境界を設計できること。
• 自然言語モデルを含む複雑なモデルにフレームワークを適用し、手作業による導出なしに認証可能ロバストトレーニングと検証を実現すること。

実験結果

リサーチクエスチョン

• RQ1 単純なフィードフォワードReLUネットワークを超えて、任意のニューラルネットワークアーキテクチャに対して摂動解析を自動化できるか？
• RQ2 一般の計算グラフ上で、線形緩和に基づく境界を効率的かつ微分可能に計算する方法は何か？
• RQ3 このフレームワークは、自然言語処理分野で使われる変換器のような複雑なモデルにおいて、認証可能ロバストトレーニングと検証をサポートできるか？
• RQ4 このフレームワークを用いて、一般化性能が向上する証明可能な平坦な最適化領域を持つニューラルネットワークを設計できるか？
• RQ5 このフレームワークは、重みの強力な量子化下でも、どれほどモデルのロバストネスを向上させられるか？

主な発見

• 提示されたフレームワークにより、任意のニューラルネットワーク構造において、手作業による導出を要せず、自動的で微分可能な摂動解析が可能になった。
• この手法は、従来の手作業アプローチでは不可能だった、複雑な自然言語モデルにおける認証可能ロバストトレーニングと検証を成功裏にサポートした。
• フレームワークにより、証明可能な平坦な最適化領域を持つニューラルネットワークの設計が可能となり、一般化性能が向上する傾向を示した。
• 得られたモデルは、強力な重み量子化後でも高い精度を維持し、パラメータ圧縮に対する耐性が向上していることを示した。
• PyTorchとの統合により、ネットワークパラメータのエンドツーエンド最適化が可能となり、認証防御やモデル設計分野における新応用が実現された。