[論文レビュー] Theoretical Analysis of Adversarial Learning: A Minimax Approach

Zhuozhuo Tu, Jingwei Zhang+1 more|arXiv (Cornell University)|Nov 13, 2018

Adversarial Robustness in Machine Learning参考文献 53被引用数 16

ひとこと要約

本稿は、輸送写像を介して敵対的リスクをミニマックス統計的学習問題に還元することで、機械学習における敵対的ロバストネスの理論的分析のためのミニマックスフレームワークを提案する。弱いリプシッツ条件の下でカバー数を用いた新しいリスクバウンドを導出しており、マルチクラス問題やハムおよびランプ損失といった一般的な損失に適用可能である。バウンドには、SVM、深層ニューラルネットワーク、PCAにおけるロバストネスの向上に最適化可能な2つのデータ依存項が含まれる。

ABSTRACT

Here we propose a general theoretical method for analyzing the risk bound in the presence of adversaries. Specifically, we try to fit the adversarial learning problem into the minimax framework. We first show that the original adversarial learning problem can be reduced to a minimax statistical learning problem by introducing a transport map between distributions. Then, we prove a new risk bound for this minimax problem in terms of covering numbers under a weak version of Lipschitz condition. Our method can be applied to multi-class classification problems and commonly used loss functions such as the hinge and ramp losses. As some illustrative examples, we derive the adversarial risk bounds for SVMs, deep neural networks, and PCA, and our bounds have two data-dependent terms, which can be optimized for achieving adversarial robustness.

研究の動機と目的

• 機械学習における敵対的汎化性能の一般理論的手法を開発すること。
• 既存のリスクバウンドを、2値分類や0-1損失にとどまらず、マルチクラス問題および非凸損失関数（例えばハム損失やランプ損失）に拡張すること。
• 特に $l_p$-有界な敵対的摂動が存在する状況において、先行研究よりもタイトで、より適応可能な敵対的リスクバウンドを導出すること。
• 教師あり学習および教師なし学習（PCAを含む）に適用可能な統一されたフレームワークを提供すること。
• 敵対的ロバストネスの向上に寄与する、リスクバウンド内のデータ依存項を同定すること。

提案手法

• 元のデータ分布と摂動済みデータ分布の間の輸送写像を導入することで、敵対的学習問題をミニマックス統計的学習問題に還元する。
• 弱いリプシッツ条件を適用し、カバー数を用いた新しいリスクバウンドを導出することで、多様なモデルへの一般化を可能にする。
• ミニマックスフレームワークを用いて、不確実性集合内での最悪の分布を考慮し、敵対的摂動を捉える。
• ミニマックスフレームワークとカバー数解析を用いて、SVM、深層ニューラルネットワーク、PCAの明示的なリスクバウンドを導出する。
• 敵対的感度の代理として機能するデータ依存項 $\lambda_{f,P_n}^+$ を導入し、正則化を用いて最適化可能である。
• 正則化パラメータ $\eta$ のグリッドサーチを用いた実用的な最適化戦略を提案し、経験的リスクと $\lambda_{f,P_n}^+ \epsilon_{\mathcal{B}}$ の和を最小化する。

実験結果

リサーチクエスチョン

• RQ1 敵対的ロバストネスを、2値分類や0-1損失にとどまらず、より一般化された文脈で理論的に分析する方法は何か？
• RQ2 $l_p$-有界摂動下での敵対的学習において、ミニマックスフレームワークを用いてタイトでデータ依存のリスクバウンドを導出できるか？
• RQ3 リスクバウンドの構造的性質は、深層ニューラルネットワークやPCAのようなモデルにおける敵対的ロバストネスの最適化を可能にするか？
• RQ4 本稿で提示されたバウンドは、従来の非敵対的および敵対的バウンドと比較して、タイトさと適用可能性の点で優れているか？
• RQ5 導出されたリスクバウンドは、一般化保証が保証された新たな敵対的ロバストトレーニングアルゴリズムの設計に活用可能か？

主な発見

• 提案されたミニマックスフレームワークにより、敵対的リスクが変換された分布における最悪の期待リスクに還元され、カバー数を用いた理論的解析が可能になる。
• 深層ニューラルネットワークのリスクバウンドには、重み行列のノルムとネットワークの深さに依存する項 $\frac{1}{\sqrt{n}} \prod_{i=1}^{L} \rho_i s_i B W \left( \sum_{i=1}^{L} \left( \frac{b_i}{s_i} \right)^{1/2} \right)^2$ が含まれる。
• SVMでは、$\epsilon_{\mathcal{B}} = 0$ のとき、標準的な非敵対的リスクバウンドに回帰し、敵対的感度を捉えるデータ依存項 $\lambda_{f,P_n}^+$ を含む。
• PCAでは、次元 $m$、ランク $k$、データバウンド $B$ に明示的に依存する項 $\frac{576B^2k\sqrt{m}}{\sqrt{n}}$ が含まれる。
• 深層ネットワークのバウンドは、先行の $\epsilon_{\mathcal{B}}$-フリーのバウンドよりもタイトであり、経験的リスクと $\lambda_{f,P_n}^+ \epsilon_{\mathcal{B}}$ の和を最小化することで最適化可能である。
• 本手法は、$\eta \in [0,1]$ のグリッドサーチを用いた実用的なトレーニング戦略を提供し、敵対的ロバストネスへの道筋を示唆する。