[論文レビュー] On Certifying Non-uniform Bound against Adversarial Attacks

Chen Liu, Ryota Tomioka+1 more|arXiv (Cornell University)|Mar 15, 2019

Adversarial Robustness in Machine Learning参考文献 34被引用数 9

ひとこと要約

この論文は、非一様なロバストネス領域を神経ネットワークで証明するフレームワークを提案している。制約付き最適化と増大ラグランジュ法を用いて、一様な境界よりも大きい、幾何学的感度を持つ保証された近傍を特定する。この手法により、ロバストなモデルがより大きな非一様境界を示し、解釈可能性が向上し、特徴ごとのロバストネスにおいて高い幾何学的類似性を示すことが明らかになった。これは、入力特徴のロバストネスを定量化するデータに依存しない指標を提供する。

ABSTRACT

This work studies the robustness certification problem of neural network models, which aims to find certified adversary-free regions as large as possible around data points. In contrast to the existing approaches that seek regions bounded uniformly along all input features, we consider non-uniform bounds and use it to study the decision boundary of neural network models. We formulate our target as an optimization problem with nonlinear constraints. Then, a framework applicable for general feedforward neural networks is proposed to bound the output logits so that the relaxed problem can be solved by the augmented Lagrangian method. Our experiments show the non-uniform bounds have larger volumes than uniform ones and the geometric similarity of the non-uniform bounds gives a quantitative, data-agnostic metric of input features' robustness. Further, compared with normal models, the robust models have even larger non-uniform bounds and better interpretability.

研究の動機と目的

• すべての入力特徴を同じように扱う一様なロバストネス境界の限界を是正すること。
• 前向き型ニューラルネットワークにおける出力ログィットの非一様境界を推定する汎用的なフレームワークを開発すること。
• 保証領域体積の最大化を、非線形制約を含む制約付き最適化問題として定式化すること。
• 非一様境界の類似性を通じて、入力特徴のロバストネスを定量化するデータに依存しない幾何的指標を提供すること。
• 非一様境界を用いて、標準的およびロバストなニューラルネットワークモデルの意思決定境界を分析・解釈するためのツールとして活用すること。

提案手法

• 入力摂動予算ベクトル $\boldsymbol{\epsilon}$ に非線形制約を課した非一様ロバストネス認証問題を最適化問題として定式化する。
• 出力ログィットの境界を区間解析と線形緩和技術を用いて近似することで、元の非凸問題を扱いやすい形に緩和する。
• 緩和された最適化問題を解くために増大ラグランジュ法を適用し、非一様境界の効率的計算を可能にする。
• ReLU、残差接続、および密接続を含む一般の前向き型ネットワークをサポートする微分可能な出力ログィットの境界化手順を導入する。
• 特徴ごとの摂動予算 $\boldsymbol{\epsilon}$ を用いて敵対的領域を再パrameter化し、$l_\infty$ や $l_2$ 範囲下で楕円的または長方形の保証領域を可能にする。
• 直交行列 $\mathbf{A}$ を用いて斜交的境界を拡張し、摂動空間内の特徴相関をモデル化できるようにする。

実験結果

リサーチクエスチョン

• RQ1 非一様なロバストネス境界は、ニューラルネットワークの入力において一様な境界よりも大きな保証領域を達成できるか？
• RQ2 入力間で非一様境界の幾何学的類似性は、入力特徴のロバストネスとどのように関係するか？
• RQ3 非一様境界は、個々の入力特徴のロバストネスを定量化するデータに依存しない指標として機能できるか？
• RQ4 ロバストモデルは、標準モデルと比較して非一様境界体積と解釈可能性においてどのように異なるか？
• RQ5 非一様境界は、ニューラルネットワークの意思決定境界の構造的性質を明らかにできるか？

主な発見

• 非一様境界は、特徴固有のロバストネス耐性を活かすことで、一様境界よりも大きな保証領域体積を達成している。
• ロバストモデルは、標準モデルと比較して顕著に大きな非一様保証境界を示しており、全体的なロバストネスが強いことを示している。
• 入力間で非一様境界の幾何学的類似性は、入力特徴のロバストネスを定量化するデータに依存しない定量的指標を提供する。
• 非一様境界は、摂動に対してどの入力特徴がより耐性があるかを明らかにするため、一様境界よりも解釈がしやすい。
• ロバストモデルで観察される強い幾何学的類似性は、標準モデルと比較して、より単純で構造的な意思決定境界を持つことを示唆している。
• 再パラメータ化により、残差接続および密接続を含むResNetおよびDenseNetアーキテクチャに対しても、本フレームワークが効果的に一般化された。