[論文レビュー] Certified Robustness for Top-k Predictions against Adversarial Perturbations via Randomized Smoothing

Jinyuan Jia, Xiaoyu Cao+2 more|arXiv (Cornell University)|Dec 20, 2019

Adversarial Robustness in Machine Learning参考文献 68被引用数 34

ひとこと要約

この論文は、Gaussian-randomized smoothing の下で top-k 予測に対する厳密な認定ロバスト性半径を導出し、認定ロバスト性をトップ-1 からトップ-k へ拡張し、実用的な推定アルゴリズムと CIFAR-10 および ImageNet での経験的検証を提供する。

ABSTRACT

It is well-known that classifiers are vulnerable to adversarial perturbations. To defend against adversarial perturbations, various certified robustness results have been derived. However, existing certified robustnesses are limited to top-1 predictions. In many real-world applications, top-$k$ predictions are more relevant. In this work, we aim to derive certified robustness for top-$k$ predictions. In particular, our certified robustness is based on randomized smoothing, which turns any classifier to a new classifier via adding noise to an input example. We adopt randomized smoothing because it is scalable to large-scale neural networks and applicable to any classifier. We derive a tight robustness in $\ell_2$ norm for top-$k$ predictions when using randomized smoothing with Gaussian noise. We find that generalizing the certified robustness from top-1 to top-$k$ predictions faces significant technical challenges. We also empirically evaluate our method on CIFAR10 and ImageNet. For example, our method can obtain an ImageNet classifier with a certified top-5 accuracy of 62.8\% when the $\ell_2$-norms of the adversarial perturbations are less than 0.5 (=127/255). Our code is publicly available at: \url{https://github.com/jjy1994/Certify_Topk}.

研究の動機と目的

• 多くのアプリケーションで top-1 よりも重要である top-k 予測のロバスト性保証を動機づける。
• Gaussian smoothing の下で top-k 予測の理論的に厳密な認定半径を開発する。
• 確率境界を推定し認定半径を計算する実用的なアルゴリズムを提供する。
• 大規模データセット（CIFAR-10 および ImageNet）で実証的な有効性を示す。

提案手法

• Gaussian ノイズを用いた randomized smoothing を用いて smoothed top-k classifier g_k を定義する。
• p_l および p_S_t を含む特定の方程式を解くことで、与えられたラベル l と top-k 集合に対して厳密な認定半径 R_l を導出する。
• 信頼区間を持ってラベル確率 p_i を上限/下限するための 2 つの Monte Carlo ベースの方法（BinoCP と SimuEM）を提案する。
• 支配方程式の二分探索を通じて認定半径の下限を計算するアルゴリズムを開発する。
• 統計的保証を伴う実用的な予測および認証手順（Algorithm 1 および Algorithm 2）を提示する。
• パラメータ（k、sigma、n、alpha）が CIFAR-10 および ImageNet での認定 top-k 精度に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 randomized smoothing の下で認定ロバスト性を top-1 から top-k 予測へ拡張できるか？
• RQ2 Gaussian ノイズを用いたトップ-k 予測の認定半径の正確な形と厳密性はどうなるか？
• RQ3 実務的に認定半径を計算するためにラベル確率境界をどのように信頼性高く推定できるか？
• RQ4 実用的なパラメータ（k、sigma、サンプルサイズ n、信頼度 alpha）が大規模データセットでの認定 top-k 精度にどう影響するか？

主な発見

• Gaussian-randomized smoothing の下でトップ-k 予測の最初の認定半径を導出した。
• 認定半径が Gaussian smoothing に対して厳密であることを証明した（所定の条件下）。
• ImageNet の結果を示す：認定 top-1 46.6%、top-3 57.8%、top-5 62.8% が ell2 半径 0.5（sigma=0.5）で。
• CIFAR-10 の結果を示す：認定 top-1 45.2%、top-2 58.8%、top-3 67.2% が ell2 半径 0.5（sigma=0.5）で。
• 確率境界の妥当性保証を伴う実用的推定方法（SimuEM と BinoCP）を確立。
• 予測と認証のワークフローを提供し、証明可能な保証を伴う（Algorithm 1 および Algorithm 2）。