[論文レビュー] Projected Randomized Smoothing for Certified Adversarial Robustness

Samuel Pfrommer, Brendon G. Anderson+1 more|arXiv (Cornell University)|Sep 25, 2023

Adversarial Robustness in Machine LearningComputer Science被引用数 3

ひとこと要約

本稿では、入力を低次元部分空間に射影した後にランダム化スムージングを適用することで、敵対的ロバストネスを向上させる「プロジェクテッド・ランダム化スムージング」を提案する。低次元空間でのスムージングにより、データ多様体に直交する摂動に対して認証ロバストネスを達成し、CIFAR-10およびSVHNにおいて、最先端手法と比較して認証領域の体積が桁違いに大きな結果を得た。

ABSTRACT

Randomized smoothing is the current state-of-the-art method for producing provably robust classifiers. While randomized smoothing typically yields robust $\ell_2$-ball certificates, recent research has generalized provable robustness to different norm balls as well as anisotropic regions. This work considers a classifier architecture that first projects onto a low-dimensional approximation of the data manifold and then applies a standard classifier. By performing randomized smoothing in the low-dimensional projected space, we characterize the certified region of our smoothed composite classifier back in the high-dimensional input space and prove a tractable lower bound on its volume. We show experimentally on CIFAR-10 and SVHN that classifiers without the initial projection are vulnerable to perturbations that are normal to the data manifold and yet are captured by the certified regions of our method. We compare the volume of our certified regions against various baselines and show that our method improves on the state-of-the-art by many orders of magnitude.

研究の動機と目的

• 入力次元が高くなると認証ロバストネスが階乗的に低下するランダム化スムージングにおける次元の呪いを解消すること。
• データ多様体仮説を活用し、訓練データの主成分によって張られる低次元部分空間に入力を射影することで、脆弱で統計的に有意でない特徴を排除すること。
• 元の入力空間における認証領域に対して理論的保証を提供するとともに、実用的なロバストネス認証を維持すること。
• 標準的なスムージング分類器が、データ多様体に直交する方向の摂動に対して脆弱であることを示し、提案手法によってその問題が解消されることを確認すること。
• 従来の手法（等方的、非等方的、入力依存のスムージングを含む）と比較して、顕著に大きな認証領域体積を達成すること。

提案手法

• 訓練データの上位主成分によって張られる低次元線形部分空間に高次元入力を射影する。
• 射影空間で等方的ガウスノイズを用いてランダム化スムージングを適用し、低次元空間における認証ロバストネスを持つスムージング分類器を生成する。
• 元の入力空間における認証領域を、射影空間における認証領域の逆像として特徴づけ、射影の核空間における摂動を考慮する。
• 単位立方体との交差を分析することで、入力空間における認証領域体積の妥当な下界を導出する。
• 2つの最適化手法を導入する：ℓ∞-正則化回帰問題の解法と、閉形式での半径調整により、認証半径推定値を向上させる。
• 射影空間における認証領域内の任意の摂動が、入力空間における有効なロバスト領域に対応することを理論的に証明することで、認証の整合性を保証する。

実験結果

リサーチクエスチョン

• RQ1 ランダム化スムージングの前に入力を低次元部分空間に射影することで、高次元入力空間における認証領域を著しく拡大できるか？
• RQ2 標準的なスムージング分類器は、データ多様体の主成分の核空間に位置する摂動に対して脆弱であるか？
• RQ3 低次元空間でランダム化スムージングを実行することで、入力空間ではなく部分空間の次元に比例して良好にスケーリングする認証ロバストネスが得られるか？
• RQ4 射影スムージングフレームワーク下で、元の入力空間における認証領域体積の妥当な下界を導出できるか？
• RQ5 提案手法の認証領域体積は、最先端の等方的、非等方的、入力依存のスムージングベースラインと比較して、定量的にどの程度優れているか？

主な発見

• CIFAR-10では、プロジェクテッド・ランダム化スムージングが、中央値としてlog₁₀(10⁻³¹⁷⁵)の認証領域体積を達成し、次に優れたベースライン（RS: 10⁻⁴³⁷⁷）の1,000倍以上も大きな体積を示した。
• SVHNでは、中央値としてlog₁₀(10⁻¹⁵⁷⁸)の認証領域体積を達成し、RS（10⁻⁴²⁸⁰）、ANCER（10⁻⁴⁰³¹）、RS4Aベースラインを大きく上回った。
• 本手法の認証領域体積は、低次元射影次元pに階乗的に減少するが、競合手法は高次元入力次元dに階乗的に減少するため、顕著な体積増加が説明できる。
• 主成分の核空間に明示的に構築された敵対的例は、標準的なスムージング分類器を容易に欺き、多様体に直交する摂動に対する脆弱性を確認した。
• CIFAR-10では85.8%、SVHNでは91.4%の高いクリーン精度を維持しながら、顕著に優れた認証ロバストネスを達成しており、精度とロバストネスの良好なトレードオフを示した。
• 閉形式での半径調整とℓ∞-回帰による最適化手法により、認証半径推定値が向上し、再訓練なしでロバストネスを向上させる実用的な手法が得られた。