[論文レビュー] Adversarial robustness via robust low rank representations

Pranjal Awasthi, Himanshu Jain+2 more|arXiv (Cornell University)|Jul 13, 2020

Adversarial Robustness in Machine Learning参考文献 56被引用数 5

ひとこと要約

本論文は、画像および音声データにおける自然な低ランク表現を活用して、ランダム化スムージングを用いた敵対的ロバストネスを向上させる手法を提案する。低ランク空間におけるノイズ注入を変更し、乗法的重み更新（MWU）に基づくアルゴリズムで ∞→2 行列ノルムを束縛することで、ℓ₂および ℓ∞ パートリュベーションに対して顕著に向上した認証可能ロバストネスを達成し、CIFAR-10 および CommonVoice データセットで最先端の手法を上回った。

ABSTRACT

Adversarial robustness measures the susceptibility of a classifier to imperceptible perturbations made to the inputs at test time. In this work we highlight the benefits of natural low rank representations that often exist for real data such as images, for training neural networks with certified robustness guarantees. Our first contribution is for certified robustness to perturbations measured in $\ell_2$ norm. We exploit low rank data representations to provide improved guarantees over state-of-the-art randomized smoothing-based approaches on standard benchmark datasets such as CIFAR-10 and CIFAR-100. Our second contribution is for the more challenging setting of certified robustness to perturbations measured in $\ell_\infty$ norm. We demonstrate empirically that natural low rank representations have inherent robustness properties, that can be leveraged to provide significantly better guarantees for certified robustness to $\ell_\infty$ perturbations in those representations. Our certificate of $\ell_\infty$ robustness relies on a natural quantity involving the $\infty o 2$ matrix operator norm associated with the representation, to translate robustness guarantees from $\ell_2$ to $\ell_\infty$ perturbations. A key technical ingredient for our certification guarantees is a fast algorithm with provable guarantees based on the multiplicative weights update method to provide upper bounds on the above matrix norm. Our algorithmic guarantees improve upon the state of the art for this problem, and may be of independent interest.

研究の動機と目的

• 画像などのデータに内在する自然な低ランク構造を活用することで、ℓ₂ パートリュベーションに対する認証可能な敵対的ロバストネスを向上させること。
• 低ランク表現が内在的に持つロバストネスを活用することで、ℓ∞ パートリュベーションに対しても認証可能なロバストネスを拡張すること。
• 射影行列の ∞→2 行列ノルムを上界付けるための、証明可能かつ近似保証を持つ高速でスケーラブルなアルゴリズムを開発すること。
• 実世界のデータ（画像や音声）が自然に低ランク構造を示しており、これをロバストネス向上に活用可能であることを示すこと。
• ランダム化スムージングが直面する √n ロバストネスの障壁を、構造的低ランク射影を用いることで打ち破ること。

提案手法

• 本手法は、ランダム化スムージングを変更し、低ランク表現の主要成分に沿ってより多くのノイズを注入することで、ℓ₂ パートリュベーションに対するロバストネスを向上させる。
• ℓ₂ ロバストネス保証を ℓ∞ ロバストネス保証に変換する新しい認証フレームワークを導入し、射影行列の ∞→2 行列ノルムを用いる。
• 乗法的重み更新（MWU）に基づくアルゴリズムを提案し、大規模行列の ∞→2 行列ノルムに対する上界を証明可能かつ近似保証付きで効率的に計算する。
• アルゴリズムは、DCT 基底上で画像データ（CIFAR-10/100）および音声データ（CommonVoice）に適用され、∞→2 ノルムが小さい低ランク射影を特定する。
• MWU に基づくノルム推定の前段階として、スパースPCAをヒューリスティックに用いて低ランク射影行列を特定する。
• 各入力 x に対して認証可能半径 r_f(x) を計算することで認証可能ロバストネスを評価し、すべての ∥z∥_p ≤ r_f(x) に対して f(x+z) = f(x) が成り立つことを保証する。

実験結果

リサーチクエスチョン

• RQ1 画像や音声などのデータに内在する自然な低ランク表現を活用することで、ℓ₂ パートリュベーション下での認証可能ロバストネスを向上させられるか？
• RQ2 低ランク射影行列の ∞→2 行列ノルムは、ℓ∞ ロバストネス認証の意味的な代理指標として適切か？
• RQ3 大規模行列の ∞→2 行列ノルムを上界付けるための、高速でスケーラブルかつ証明可能な保証を持つアルゴリズムを設計可能か？
• RQ4 低ランク構造を活用することで、標準的なランダム化スムージングが直面する √n ロバストネス障壁を打破できるか？
• RQ5 一般用途のSDPソルバー（例：MOSEK）と比較して、提案されたMWUベースのアルゴリズムの速度および精度はどのように異なるか？

主な発見

• 提案手法は、CIFAR-10 および CIFAR-100 において、最先端のランダム化スムージングベースラインを上回る、向上した認証可能精度を達成した。
• ℓ∞ ロバストネスにおいて、√n の障壁を著しく超える認証可能半径を達成し、音声データでは射影行列の ∞→2 ノルムが最小21.285（√n ≈ 34.641）にまで低下した。
• MWUベースのアルゴリズムは、n=10,000 の行列に対して30秒未満で ∞→2 ノルムの上界を計算し、MOSEK と比較して相対誤差5%未満の精度を達成した。
• 音声データでは、4.97% から 5.58% の射影誤差を維持しながらも、∞→2 ノルムを √n よりも著しく低く保った。
• アルゴリズムは n=20,000 に対しても効率的にスケーリングされ、約30分で処理が完了し、MOSEK に比べて実行時間で優位であった。
• 実験結果から、画像や音声における自然な低ランク表現が inherently ロバストな性質を有しており、認証に活用可能であることが示された。