[論文レビュー] Randomized Smoothing of All Shapes and Sizes
本論文は、Wulff結晶を用いて任意のノルムにおける最適なスムージング分布を同定する一般化されたランダムスムージングフレームワークを導入し、保証可能なロバスト半径を導出する2つの新しい手法を提案するとともに、バナッハ空間のコタイプ理論を用いて根本的な限界を確立する。安定性学習および事前学習を用いることで、CIFAR-10およびImageNetにおけるℓ₁ロバスト性において、SOTAの認証精度を達成し、ℓ₁半径が1.5以上の場合に30%を超える改善を達成する。
Randomized smoothing is the current state-of-the-art defense with provable robustness against $\ell_2$ adversarial attacks. Many works have devised new randomized smoothing schemes for other metrics, such as $\ell_1$ or $\ell_\infty$; however, substantial effort was needed to derive such new guarantees. This begs the question: can we find a general theory for randomized smoothing? We propose a novel framework for devising and analyzing randomized smoothing schemes, and validate its effectiveness in practice. Our theoretical contributions are: (1) we show that for an appropriate notion of "optimal", the optimal smoothing distributions for any "nice" norms have level sets given by the norm's *Wulff Crystal*; (2) we propose two novel and complementary methods for deriving provably robust radii for any smoothing distribution; and, (3) we show fundamental limits to current randomized smoothing techniques via the theory of *Banach space cotypes*. By combining (1) and (2), we significantly improve the state-of-the-art certified accuracy in $\ell_1$ on standard datasets. Meanwhile, we show using (3) that with only label statistics under random input perturbations, randomized smoothing cannot achieve nontrivial certified accuracy against perturbations of $\ell_p$-norm $Ω(\min(1, d^{\frac{1}{p} - \frac{1}{2}}))$, when the input dimension $d$ is large. We provide code in github.com/tonyduan/rs4a.
研究の動機と目的
- 異なる摂動ノルムにわたる既存のアプローチを統合・拡張する一般理論の開発を目的とする。
- 任意の「よい」ノルムに対する最適なスムージング分布を同定し、それがノルムのWulff結晶に対応することを示す。
- 任意のスムージング分布に対して保証可能なロバスト半径を計算する2つの新規で補完的な手法を導入する。
- バナッハ空間のコタイプ理論を用いて、摂動下でのラベル統計のみが利用可能な場合のランダムスムージングの根本的理論的限界を確立する。
- 標準ベンチマークにおけるℓ₁ノルムの敵対的攻撃に対して、SOTAの認証ロバスト精度を達成することを目的とする。
提案手法
- Wulff結晶を介してノルムの幾何学と最適スムージング分布を結びつける一般フレームワークを提案し、最適スムージング分布の等高線がWulff結晶に一致することを示す。
- 2つの新しいロバスト性認証手法を導入：1つは集中不等式に基づくもの、もう1つはメトリック埋め込みとコタイプ理論を用いるもの。
- バナッハ空間のコタイプ理論を用いて、摂動下でラベル統計のみが利用可能な場合の達成可能なロバスト半径の下界を導出する。
- 安定性学習、半教師あり学習、およびImageNet事前学習を用いて、実用的な認証精度の向上を図る。
- ノルムの最適スムージング分布の等高線が、与えられたノイズ分散に対して期待されるロバスト半径を最小化する、そのノルムのWulff結晶に一致することを導出する。
- Khintchineの不等式およびメトリック埋め込み定理を用いて、コタイプ定数と線形埋め込みの歪みを関連付け、ロバスト性に関する理論的限界を可能にする。
実験結果
リサーチクエスチョン
- RQ1任意の与えられたノルムに対する最適なスムージング分布は何か、そしてそれはノルムの幾何学とどのように関係するか？
- RQ2一般化可能な手法を用いて、任意のスムージング分布に対して保証可能なロバスト半径を導出できるか？
- RQ3ラベル統計のみが利用可能な場合のランダムスムージングの根本的理論的限界は何か？
- RQ4ImageNetおよびCIFAR-10におけるℓ₁ノルムの敵対的攻撃に対して、SOTAの認証ロバスト性を達成するにはどうすればよいか？
- RQ5Wulff結晶構造を用いて、既存のランダムスムージング手法を統合・改善できるか？
主な発見
- 「よい」ノルムの最適スムージング分布の等高線は、ノルムのWulff結晶に一致し、最適性の幾何的特徴付けを提供する。
- 提案手法によるロバスト半径の計算法は、CIFAR-10およびImageNetにおけるℓ₁ノルムのロバスト性において、認証精度を顕著に向上させる。
- 安定性学習および事前学習を用いることで、CIFAR-10におけるℓ₁半径1.5以上で、前人最高水準を30%以上上回る認証精度を達成する。
- ImageNetでは、ℓ₁半径0.5で60%の認証トップ-1精度、半径4.0で39%を達成し、先行研究を上回る性能を示す。
- CIFAR-10では、ℓ₁半径0.5で74%の認証精度、半径4.0で31%を達成し、前人最高水準を最大33%上回る。
- 理論的分析により、ラベル統計のみが利用可能な場合、ランダムスムージングはℓₚ摂動に対して、Ω(min(1, d^{1/p - 1/2}))より大きな非自明な認証精度を達成できないことが示される。
より良い研究を、今すぐ始めましょう
論文設計から論文執筆まで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。