[論文レビュー] Almost Tight L0-norm Certified Robustness of Top-k Predictions against Adversarial Perturbations

Jinyuan Jia, Binghui Wang+3 more|arXiv (Cornell University)|Nov 15, 2020

Adversarial Robustness in Machine Learning参考文献 60被引用数 5

ひとこと要約

本稿は、ノイズを追加するのではなく特徴を部分抽出する、ランダム化アンブレーショニング（ランダム化スムージングの変種）を用いて、トップ-k予測におけるほぼタイトなL0ノルムの認証可能ロバスト性保証を提案する。これは、敵対的摂動によって最大5ピクセルが変更された場合にImageNetで69.2%のトップ3正解率を達成し、最先端の認証可能ロバスト性を実現している。

ABSTRACT

Top-k predictions are used in many real-world applications such as machine learning as a service, recommender systems, and web searches. $\ell_0$-norm adversarial perturbation characterizes an attack that arbitrarily modifies some features of an input such that a classifier makes an incorrect prediction for the perturbed input. $\ell_0$-norm adversarial perturbation is easy to interpret and can be implemented in the physical world. Therefore, certifying robustness of top-$k$ predictions against $\ell_0$-norm adversarial perturbation is important. However, existing studies either focused on certifying $\ell_0$-norm robustness of top-$1$ predictions or $\ell_2$-norm robustness of top-$k$ predictions. In this work, we aim to bridge the gap. Our approach is based on randomized smoothing, which builds a provably robust classifier from an arbitrary classifier via randomizing an input. Our major theoretical contribution is an almost tight $\ell_0$-norm certified robustness guarantee for top-$k$ predictions. We empirically evaluate our method on CIFAR10 and ImageNet. For instance, our method can build a classifier that achieves a certified top-3 accuracy of 69.2\% on ImageNet when an attacker can arbitrarily perturb 5 pixels of a testing image.

研究の動機と目的

• 実際のアプリケーション（ML as a service やレコメンデーションシステムなど）で一般的なL0ノルムの敵対的摂動に対するトップ-k予測の認証可能ロバスト性のギャップを埋める。
• L0ノルム摂動下でのトップ-1予測からトップ-k予測への認証可能ロバスト性の拡張を図り、より解釈可能で物理的に実現可能な設定を提供する。
• L2ノルムの保証から不適切な変換によって得られるものより優れた、確率的かつタイトなトップ-k予測に対するL0ノルムの認証可能ロバスト性保証を提供する手法を開発する。
• CIFAR10 や ImageNet といった大規模データセット、および3次元ディープラーニングタスクにおいて、本手法のスケーラビリティと有効性を示す。

提案手法

• 入力の特徴をノイズを追加する代わりに部分抽出するランダム化アンブレーショニング（ランダム化スムージングの一種）を用いて、スムージング分類器を構築する。
• 複数回のアブレーション処理を経た入力に対して、ベース分類器が予測する確率が最も高いトップ-kラベルを出力するスムージング分類器を構築する。
• 特徴摂動下でのラベル予測確率分布を分析することで、ほぼタイトなL0ノルムの認証可能ロバスト性保証を導出する。
• 離散空間における確率的バウンドと領域分割に依存し、あるラベルが指定されたL0ノルム半径以内の摂動に対してもトップ-k予測に残留することを証明する。
• 画像分類、3次元点群分類（例：ModelNet40）に本手法を適用し、PointNetをベース分類器として用いて汎用性を検証する。
• 非連続的な領域分割の課題を克服するため、離散空間における厳密な領域制約を緩和することで、タイトさの証明を可能にする。

実験結果

リサーチクエスチョン

• RQ1 L0ノルムの敵対的摂動下でのトップ-k予測に対して、タイトな認証可能ロバスト性保証を達成できるか？
• RQ2 本手法のトップ-k予測の認証可能ロバスト性は、トップ-1予測のみを認証する既存手法やL2ノルムのバウンドを用いる手法と比較してどのように異なるか？
• RQ3 ランダム化アンブレーショニングは、強力なロバスト性保証を維持しつつ、トップ-k出力予測へと効果的に拡張可能か？
• RQ4 本手法は、実際のL0摂動設定下で、ImageNet や ModelNet40 といった大規模ベンチマークでどのように実効性を示すか？
• RQ5 本手法は、3次元点群のような異なるアーキテクチャやデータモダリティにおいて、どのようにスケーリングされ、一般化されるか？

主な発見

• 攻撃者がテスト画像の最大5ピクセルを摂動できる状況下で、ImageNet においてトップ3正解率が69.2%に達する。
• CIFAR10 では、1〜5ピクセルの摂動に対して、それぞれトップ1正解率が74.6%、71.8%、69.0%、66.0%、63.6%を達成し、先行研究を上回る性能を示した。
• ModelNet40 における3次元点群分類では、10点が摂動された場合にトップ3正解率が90.1%に達し、50点が摂動された場合は77.5%に低下した。
• 最先端のトップ1 L0-ロバスト手法（Chiang et al., 2020）を著しく上回り、特に高い摂動レベルにおいて認証正解率が2倍以上にのぼった。
• 理論的分析により、トップ-k予測に対するほぼタイトなL0ノルムの認証可能ロバスト性保証が確立され、厳密な離散領域制約を緩和する証明戦略によりタイトさが実現された。
• 本手法は画像を越えて一般化可能であり、PointNet をベース分類器として用いる3次元ディープラーニングタスクにおいても優れた性能を示した。