[論文レビュー] Tight Certificates of Adversarial Robustness for Randomly Smoothed Classifiers

Guang-He Lee, Yuan Yang+2 more|arXiv (Cornell University)|Jun 12, 2019

Adversarial Robustness in Machine Learning参考文献 43被引用数 27

ひとこと要約

本稿は、$ε$-有界な$µ_2$および$µ_0$敵対的攻撃の下で、ランダムにスムージングされた分類器に対するタイトでスケーラブルなロバスト性証明を導入する。この手法は階層的尤度比分析と分類器固有の仮定を活用する。ImageNetおよび分子データセットにおいて、最先端の認証精度を達成し、離散ドメインにおける最初の実用的で$µ_0$ロバスト性保証を提供する。

ABSTRACT

Strong theoretical guarantees of robustness can be given for ensembles of classifiers generated by input randomization. Specifically, an $\ell_2$ bounded adversary cannot alter the ensemble prediction generated by an additive isotropic Gaussian noise, where the radius for the adversary depends on both the variance of the distribution as well as the ensemble margin at the point of interest. We build on and considerably expand this work across broad classes of distributions. In particular, we offer adversarial robustness guarantees and associated algorithms for the discrete case where the adversary is $\ell_0$ bounded. Moreover, we exemplify how the guarantees can be tightened with specific assumptions about the function class of the classifier such as a decision tree. We empirically illustrate these results with and without functional restrictions across image and molecule datasets.

研究の動機と目的

• 機械学習分野における離散的で$µ_0$-有界な敵対的攻撃に対するタイトでスケーラブルなロバスト性証明の不足を解消すること。
• 等方的ガウスノイズに限らない広範な分布および距離関数へと、ランダマイズドスムージングの理論的保証を拡張すること。
• 離散空間における正確でタイトなロバスト性証明を可能にするために、階層的尤度比分析を提案すること。
• 分類器の構造的仮定（例えば、意思決定木）を組み込むことで、一般向けの境界を超えてロバスト性証明をタイトにすること。
• ImageNetのような画像および分子データセットにおいて、$µ_0$攻撃の下で最先端の認証ロバスト性を実証すること。

提案手法

• 離散的入力空間における$µ_0$-有界な敵対的攻撃の下で、タイトなロバスト性証明を計算するための階層的尤度比分析を提案する。
• 各半径$r$におけるロバスト性の最小信頼水準を効率的に特定するため、$\rho_r^{-1}(0.5)$を用いた事前計算ステップを導入する。
• 分類器固有の仮定（例：意思決定木）を活用することで、一般向けの境界を超えてロバスト性証明をタイトにする。
• 計算のオーバーヘッドを最小限に抑えるスケーラブルなアルゴリズムを設計し、ImageNetのような大規模データセットへの展開を可能にする。
• 等方的ガウス確率的変換の下で、測定可能分類器に対して最適でタイトな証明を導出するために、Neyman-Pearsonの補題を用いる。
• 動的計画法およびグリーディ探索を用いて、離散的特徴空間における最悪の$µ_0$敵対的攻撃を同定し、正確なロバスト性評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ランダムにスムージングされた手法を用いて、離散的入力空間における$µ_0$-有界な敵対的攻撃の下で、タイトで実用的なロバスト性証明を導出可能か？
• RQ2 ベース分類器に関する構造的仮定を用いることで、ランダムにスムージングされた分類器のロバスト性保証をどのようにタイトにできるか？
• RQ3 提案手法の認証方法は、実世界の画像および分子データセットにおいて、スケーラビリティと実効的性能をどのように果たすか？
• RQ4 階層的尤度比分析は、既存手法と比較して、証明のタイトさと計算効率の両面でどのように向上をもたらすか？
• RQ5 分類器固有の仮定（例：意思決定木）は、一般向けの境界を超えて、ロバスト性認証をどの程度向上させるか？

主な発見

• ImageNetにおいて$µ_0$攻撃の下で、$r=1$のとき認証精度が0.538に達し、ベースラインの0.372を大きく上回った。
• 非空の尤度比領域の数$n$は、理論的上限$(d+1)^2$よりもはるかに小さいため、計算が効率的に行える。
• $\rho_r^{-1}(0.5)$は$r=d$のときのみ1に達し、各$\alpha$および$r$について約4日間の計算を要するが、モデルやデータセットをまたいで再利用可能である。
• Baceデータセットにおいて、ランダムにスムージングされた意思決定木は、通常の意思決定木よりも一貫して高いロバスト性を示し、$r=1$のとき予測確率境界の平均差が0.358に達した。
• 本手法は、離散ドメインにおける最初の実用的でタイトな$µ_0$ロバスト性証明を提供し、先行研究の連続空間への適応手法と比較して、実験的に優れた性能を示した。
• 認証精度は半径$r$に対して非線形な関係を示し、$µ$値が大きいほど小さな半径で優れた性能を示す傾向があり、逆に小半径では逆のトレードオフが見られた。これは、ロバスト性のスケーリングにおけるトレードオフを示している。