[論文レビュー] Certified Adversarial Defenses Meet Out-of-Distribution Corruptions: Benchmarking Robustness and Simple Baselines
本論文は、ランダムスムージングに基づく認証可能 adversarial defense における深刻な脆弱性を特定する。具体的には、特に低周波数のもの（例：霧や霜）を含む分布外（OOD）の汚染に対して顕著な性能低下を示している。これを解決するために、著者らは周波数カバレッジを向上させるためのスペクトル拡張手法であるFourierMixに加え、階層的整合性正則化子（HCR）を提案する。HCRは、周波数スペクトル全体にわたる認証可能ロバストネスを著しく向上させ、OODベンチマークにおいてSOTAベースラインを最大16%上回る性能を達成する。
Certified robustness guarantee gauges a model's robustness to test-time attacks and can assess the model's readiness for deployment in the real world. In this work, we critically examine how the adversarial robustness guarantees from randomized smoothing-based certification methods change when state-of-the-art certifiably robust models encounter out-of-distribution (OOD) data. Our analysis demonstrates a previously unknown vulnerability of these models to low-frequency OOD data such as weather-related corruptions, rendering these models unfit for deployment in the wild. To alleviate this issue, we propose a novel data augmentation scheme, FourierMix, that produces augmentations to improve the spectral coverage of the training data. Furthermore, we propose a new regularizer that encourages consistent predictions on noise perturbations of the augmented data to improve the quality of the smoothed models. We find that FourierMix augmentations help eliminate the spectral bias of certifiably robust models enabling them to achieve significantly better robustness guarantees on a range of OOD benchmarks. Our evaluation also uncovers the inability of current OOD benchmarks at highlighting the spectral biases of the models. To this end, we propose a comprehensive benchmarking suite that contains corruptions from different regions in the spectral domain. Evaluation of models trained with popular augmentation methods on the proposed suite highlights their spectral biases and establishes the superiority of FourierMix trained models at achieving better-certified robustness guarantees under OOD shifts over the entire frequency spectrum.
研究の動機と目的
- 分布外（OOD）のシフト、特に霧や霜のような低周波数汚染に対して、認証可能な adversarial defense のロバストネスを調査すること。
- 最先端の認証可能ロバストモデルがOODデータに対して脆く、実世界への展開可能性を損なうことを明らかにすること。
- 周波数固有の脆弱性を軽減するため、トレーニングデータのスペクトル多様性を高める新しいデータ拡張法、FourierMixを考案すること。
- 同じ入力に対してノイズとFourierベースの拡張の両方で予測の一貫性を高める階層的整合性正則化子（HCR）を導入すること。
- 周波数ドメイン全体にわたるスペクトルバイアスを評価・露呈するため、CIFAR-10/100-Fと呼ばれる包括的なベンチマークを設計すること。
提案手法
- FourierMixは、画像をフーリエドメインでランダムに振幅と位相を変更し、その後アフィン変換を施すことで、意味的整合性を保ちつつスペクトル的に多様な拡張を生成する。
- 階層的整合性正則化子（HCR）は、同じ入力に対する複数のノイズ摂動とFourierMix拡張の間で予測の一貫性を強制し、スムージング分類器のロバストネスを向上させる。
- 本手法は、ランダムスムージングを用いてスムージング分類器を訓練する。認証半径は、ランダムノイズ下での予測の多数決から導出され、FourierMixとHCRによる一般化性能の向上が実現される。
- 周波数特異的な汚染を、パrameter α と fc を制御するべきべき乗分布を用いて適用することで、CIFAR-10/100-F と呼ばれる新規ベンチマークを構築する。これにより、異なる周波数領域での評価が可能になる。
- 周波数ドメインにおけるモデルのロバストネスを評価するために、フォーリエ感度分析を用いる。これにより、スペクトルバイアスが特定され、異なる周波数帯での性能が測定される。
- 本フレームワークは、CIFAR-10/100-F を含む複数のOODベンチマークでモデルを評価し、拡張手法ごとの周波数スペクトルにおけるロバストネスと認証半径性能を比較する。
実験結果
リサーチクエスチョン
- RQ1ランダムスムージングに基づく最先端の認証可能ロバストモデルは、分布外（OOD）の汚染、特に霧や霜のような低周波数のものに対して、どのように性能を示すか？
- RQ2既存のデータ拡張手法が、スムージング分類器のOODデータに対するロバストネスを損なう周波数バイアスをどれほど導入するか？
- RQ3スペクトルカバレッジを向上させる新しいデータ拡張スキームが、周波数スペクトル全体にわたる認証可能ロバストネス保証を改善できるか？
- RQ4ノイズとFourierベースの拡張の両方で予測の一貫性を促進する階層的整合性正則化子（HCR）は、スムージング分類器の品質を向上させられるか？
- RQ5周波数制御された汚染を備えた新規ベンチマークは、認証モデルのOODロバストネスにおけるスペクトルバイアスを効果的に露呈・定量できるか？
主な発見
- 最先端の方法で訓練された認証可能ロバストモデルは、霧や霜のような低周波数OOD汚染に対して、35%〜75%の性能低下を示し、実世界の設定では認証可能ロバストネス保証が無効化される。
- AutoAugment や AugMix で訓練されたモデルは顕著なスペクトルバイアスを示し、高周波数汚染に対しては性能が著しく劣る。一方、ガウス拡張はCIFAR-100-Fに対して劣悪な性能を示す。
- FourierMix + HCR で訓練されたモデルは、CIFAR-10-F と CIFAR-100-F において、それぞれ AugMix+HCR に対して平均で11.8%および16.0%の向上を達成し、周波数帯域全体にわたって優位性を示す。
- 提案されたCIFAR-10/100-Fベンチマークは、既存のモデルと拡張法におけるスペクトルバイアスを効果的に露呈し、現在のOODベンチマークが包括的評価に不十分であることを示している。
- フォーリエ感度分析により、FourierMix と HCR で訓練されたモデルは、ベースラインと比較して周波数スペクトル全体にわたるより一様なロバストネスを示すことが確認された。
- FourierMix と HCR の組み合わせは、複数のOODベンチマークで一貫した性能向上をもたらし、特定のデータセットに限定されない一般化能力を示している。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。