[論文レビュー] Black-Box Certification with Randomized Smoothing: A Functional Optimization Based Framework

Dinghuai Zhang, Mao Ye+3 more|arXiv (Cornell University)|Feb 21, 2020

Adversarial Robustness in Machine Learning参考文献 34被引用数 21

ひとこと要約

本稿では、非ガウス分布を用いたブラックボックス敵対的認証のための機能最適化フレームワークを提案し、ℓ₁、ℓ₂、ℓ∞ 攻撃におけるより高い耐性保証を可能にする。精度と耐性のトレードオフを分布設計によって再考することで、CIFAR-10 および ImageNet において、従来のガウス分布ベースの手法よりもタイトな保証バウンドを達成する。

ABSTRACT

Randomized classifiers have been shown to provide a promising approach for achieving certified robustness against adversarial attacks in deep learning. However, most existing methods only leverage Gaussian smoothing noise and only work for $\ell_2$ perturbation. We propose a general framework of adversarial certification with non-Gaussian noise and for more general types of attacks, from a unified functional optimization perspective. Our new framework allows us to identify a key trade-off between accuracy and robustness via designing smoothing distributions, helping to design new families of non-Gaussian smoothing distributions that work more efficiently for different $\ell_p$ settings, including $\ell_1$, $\ell_2$ and $\ell_\infty$ attacks. Our proposed methods achieve better certification results than previous works and provide a new perspective on randomized smoothing certification.

研究の動機と目的

• 既存のランダム化スムージング手法がガウスノイズに依存しており、高次元空間では最適でないという限界に対処すること。
• 非ガウススムージング分布と一般の ℓp-ノルム攻撃をサポートする統一された敵対的認証フレームワークを構築すること。
• 機能最適化を用いて精度-耐性トレードオフを特定・活用し、より優れたスムージング分布を設計すること。
• ガウススムージングの制限を超えて、ℓ₁、ℓ₂、ℓ∞ 攻撃設定における認証性能を向上させること。

提案手法

• ブラックボックス認証を機能最適化問題として定式化し、9 および 14 のような先行手法を特別なケースとして統合する。
• 精度と耐性のバランスを最適化する新しいフレームワークを導入し、式 (9) を用いたトレードオフの分解を活用する。
• ラグランジュ緩和と f-ダイバージェンスに基づくバウンディングを用いて、認証に必要な十分条件と必要十分条件を導出する。
• 中心部に集中する性質を持つ、新しい非ガウススムージング分布の族を提案し、ℓ₁、ℓ₂、ℓ∞ の設定で性能向上を実現する。
• 大規模モデルにおける実用的導入を可能にする、効率的な計算手法を開発する。
• ℓ∞ 攻撃者を想定した、ℓ₂ と ℓ∞ ノルムに基づく混合分布を提案し、以前に検討されていなかったアプローチを初めて実現する。

実験結果

リサーチクエスチョン

• RQ1 機能最適化フレームワークは、一般の ℓp-ノルム攻撃において、ガウススムージングを上回る敵対的認証を可能にするか？
• RQ2 高次元空間における精度-耐性トレードオフはどのように現れ、それを分布設計によって体系的に活用できるか？
• RQ3 非ガウススムージング分布は、ℓ₁、ℓ₂、ℓ∞ の耐性認証においてガウス分布を上回る性能を示せるか？
• RQ4 機能最適化の観点から、認証性能を向上させるためにどのような新しいスムージング分布を導出できるか？
• RQ5 ℓ₂ と ℓ∞ ノルムを組み合わせたスムージング分布を用いることで、ℓ∞ 攻撃者に対する耐性が向上するか？

主な発見

• 提案フレームワークは、CIFAR-10 および ImageNet における ℓ₁、ℓ₂、ℓ∞ 攻撃に対して、従来の研究を上回る認証結果を達成する。
• 機能最適化フレームワークを用いて設計された非ガウススムージング分布は、ガウススムージングを上回り、特に高次元空間において顕著な性能向上を示す。
• フレームワークは、精度と耐性の間の重要なトレードオフを特定し、分布設計によって体系的に活用可能であることを明らかにする。
• ℓ₂ と ℓ∞ ノルムを組み合わせた新しいスムージング分布は、ℓ∞ 攻撃者に対する実証的認証性能を向上させ、以前に検討されていなかった分野をカバーする。
• 本手法は、特にクラス数が多い多クラス設定において、従来手法よりもタイトな認証バウンドを提供する。
• 実験結果から、新しい分布が、異なる ℓp ノルムにおいて、ガウスノイズよりも効率的かつ効果的に耐性と精度のバランスを取れていることが確認された。