[論文レビュー] Improved, Deterministic Smoothing for L_1 Certified Robustness

Alexander Levine, Soheil Feizi|arXiv (Cornell University)|Mar 17, 2021

Adversarial Robustness in Machine Learning参考文献 30被引用数 8

ひとこと要約

本稿では、深層学習におけるℓ₁認証ロバスト性のための非加法的で決定論的な手法である分割ノイズを用いた決定論的スムージング（DSSN）を提案する。独立した加法的ノイズに依存するのではなく、入力空間の構造的分割を活用することで、CIFAR-10およびImageNetにおいて従来の確率的スムージング手法よりも顕著に大きなロバスト性証明を達成するとともに、確率的失敗率のない高速かつ正確な認証を可能にする。

ABSTRACT

Randomized smoothing is a general technique for computing sample-dependent robustness guarantees against adversarial attacks for deep classifiers. Prior works on randomized smoothing against L_1 adversarial attacks use additive smoothing noise and provide probabilistic robustness guarantees. In this work, we propose a non-additive and deterministic smoothing method, Deterministic Smoothing with Splitting Noise (DSSN). To develop DSSN, we first develop SSN, a randomized method which involves generating each noisy smoothing sample by first randomly splitting the input space and then returning a representation of the center of the subdivision occupied by the input sample. In contrast to uniform additive smoothing, the SSN certification does not require the random noise components used to be independent. Thus, smoothing can be done effectively in just one dimension and can therefore be efficiently derandomized for quantized data (e.g., images). To the best of our knowledge, this is the first work to provide deterministic "randomized smoothing" for a norm-based adversarial threat model while allowing for an arbitrary classifier (i.e., a deep model) to be used as a base classifier and without requiring an exponential number of smoothing samples. On CIFAR-10 and ImageNet datasets, we provide substantially larger L_1 robustness certificates compared to prior works, establishing a new state-of-the-art. The determinism of our method also leads to significantly faster certificate computation. Code is available at: https://github.com/alevine0/smoothingSplittingNoise

研究の動機と目的

• 深層学習におけるℓ₁敵対的脅威に対するスケーラブルで決定論的な認証ロバスト性の欠如に対処すること。
• 独立した加法的ノイズに依存し、確率的保証しか提供しない従来の確率的スムージング手法の限界を克服すること。
• スムージングプロセスにおけるランダムネスを排除することで、量子化済みデータ（例：画像）に対して効率的かつ正確な認証を可能にすること。
• 任意の深層ベース分類器と互換性を保ちつつ、最先端の手法を上回るℓ₁ロバスト性証明を達成すること。
• 構造的分割ノイズによるデランドマイゼーションが、より高いロバスト性と高速な証明計算を両立することを示すこと。

提案手法

• 各ノイズ付きサンプルが入力空間をランダムに分割し、入力が含まれる領域の中心を返す、確率的スムージング手法としての分割ノイズ（SSN）を提案する。
• ランダムな分割を固定された構造的分割スキームに置き換えることで、確率的要因を排除したSSNの決定論的変種DSSNを設計する。
• SSNが独立したノイズ成分を必要としないという事実を活用し、一次元での有効なスムージングとデランドマイゼーションの簡略化を実現する。
• SSNの周辺分布を用いて、一様加法的ノイズとの閉形式の関係を導出し、理論的比較と検証を可能にする。
• クリーンな精度とロバスト性を向上させるために安定性学習を適用するが、DSSNにおいては加法的スムージングと比較して効果が薄れる。
• モデルの性能を学習および推論時に維持するために、微分可能で学習可能な分割機構を実装する。

実験結果

リサーチクエスチョン

• RQ1 非加法的で決定論的なスムージング手法は、従来の確率的スムージング手法よりも優れたℓ₁認証ロバスト性を達成できるか？
• RQ2 スムージングプロセスのデランドマイゼーションは、より大きなロバスト性証明と高速な認証時間をもたらすか？
• RQ3 ℓ₁ノルム下での認証精度という観点から、構造的分割ノイズは一様加法的ノイズを上回れるか？
• RQ4 ノイズ表現の選択（加法的対分割ベース）が、特に高ノイズレベルにおいて認証性能に与える影響はどの程度か？
• RQ5 ノイズ除去技術や安定性学習を用いても、加法的ノイズと分割ベースノイズの性能差は維持されるか？

主な発見

• DSSNはCIFAR-10で最先端の認証精度を達成し、全テストされたℓ₁半径ρにおいて従来手法を上回る。ρ=0.5では72.25%、ρ=4.0では33.64%の精度を達成した。
• ImageNetでは、全テストされたノイズレベルで優れたロバスト性を示し、σ=3.5、ρ=3.5の条件下で65.40%の認証精度を達成し、加法的スムージング手法を上回った。
• DSSNの決定論的性質により、確率的失敗率を内蔵しない正確な非確率的認証が可能になった。
• 中程度のノイズレベルでは、DSSNの性能向上は主にデランドマイゼーションによるものであり、確率的SSNと比較して推定誤差が低減した。
• 高ノイズレベルでは、DSSNと加法的スムージングの性能差は、構造的ノイズ表現によるベース分類器の一般化性能の向上に起因する。
• 安定性学習はDSSNに対して加法的スムージングほど効果がなく、一部のケースではクリーン精度がわずかに低下する傾向にあり、最適化ダイナミクスの差が示唆された。