[論文レビュー] TSS: Transformation-Specific Smoothing for Robustness Certification

Linyi Li, Maurice Weber+6 more|arXiv (Cornell University)|Feb 27, 2020

Adversarial Robustness in Machine Learning参考文献 63被引用数 6

ひとこと要約

TSSは、回転、ぼかし、明るさの変更などの意味的変換に対して、変換固有のランダム化スムージングと階層的サンプリングを用いて、機械学習モデルの堅牢性を証明可能に保証する統合フレームワークを導入する。これは、ℓp-有界でない摂動を除く大規模なデータセットにおいて、非自明な保証された堅牢性を達成する最初の手法であり、ImageNetにおける±30°回転攻撃に対して30.4%の保証された堅牢精度を達成している。

ABSTRACT

As machine learning (ML) systems become pervasive, safeguarding their security is critical. However, recently it has been demonstrated that motivated adversaries are able to mislead ML systems by perturbing test data using semantic transformations. While there exists a rich body of research providing provable robustness guarantees for ML models against $\ell_p$ norm bounded adversarial perturbations, guarantees against semantic perturbations remain largely underexplored. In this paper, we provide TSS -- a unified framework for certifying ML robustness against general adversarial semantic transformations. First, depending on the properties of each transformation, we divide common transformations into two categories, namely resolvable (e.g., Gaussian blur) and differentially resolvable (e.g., rotation) transformations. For the former, we propose transformation-specific randomized smoothing strategies and obtain strong robustness certification. The latter category covers transformations that involve interpolation errors, and we propose a novel approach based on stratified sampling to certify the robustness. Our framework TSS leverages these certification strategies and combines with consistency-enhanced training to provide rigorous certification of robustness. We conduct extensive experiments on over ten types of challenging semantic transformations and show that TSS significantly outperforms the state of the art. Moreover, to the best of our knowledge, TSS is the first approach that achieves nontrivial certified robustness on the large-scale ImageNet dataset. For instance, our framework achieves 30.4% certified robust accuracy against rotation attack (within $\pm 30^\circ$) on ImageNet. Moreover, to consider a broader range of transformations, we show TSS is also robust against adaptive attacks and unforeseen image corruptions such as CIFAR-10-C and ImageNet-C.

研究の動機と目的

• 従来のℓpノルム有界な防御では回避される意味的変換に対する証明可能な堅牢性保証の欠如に対処すること。
• 異なる変換の特徴を適切に反映する統合された認証フレームワークを構築すること。
• ImageNetのような大規模データセットにおいて、先行手法が失敗する非自明な保証された堅牢性を達成すること。
• 回転やスケーリングなどの微分可能に解像可能な変換における補間誤差を、新規の階層的サンプリング技術を用いて処理すること。
• CIFAR-10-C や ImageNet-C などの適応的かつ予期せぬ汚染に対して、堅牢性認証を向上させること。

提案手法

• 数学的性質に基づき、変換を解像可能な（例：ガウスノイズ）と微分可能に解像可能な（例：回転）に分類する。
• 解像可能な変換に対しては、変換固有のランダム化スムージング戦略を設計し、きめ細かい堅牢性認証を導出する。
• 微分可能に解像可能な変換に対しては、スムージングプロセスにおける補間誤差の推定と上限評価のための階層的サンプリング手法を提案する。
• 良性精度と堅牢性認証性能の向上を図るため、一貫性強化学習を統合する。
• 補間誤差の上限（例：式(24)を用いて）を用いて、変換摂動下での保証された堅牢性マージンを導出する。
• 二段階のサンプリング戦略を採用：まず変換空間をサンプリングし、次に摂動を加えた入力をサンプリングして堅牢性を推定する。

実験結果

リサーチクエスチョン

• RQ1 ℓpノルム有界でない意味的変換に対して、機械学習モデルの証明可能な堅牢性保証を提供できるか？
• RQ2 既存手法よりもきめ細かい堅牢性認証を達成する変換固有のスムージングプロトコルをどのように設計できるか？
• RQ3 補間誤差を伴う微分可能に解像可能な変換における堅牢性認証に効果的な技術は何か？
• RQ4 このフレームワークは、ImageNetのような大規模データセットにおいて非自明な保証された堅牢性を達成できるか？
• RQ5 適応的攻撃およびCIFAR-10-C や ImageNet-C などの予期せぬ画像汚染に対して、このフレームワークはどの程度の性能を示すか？

主な発見

• TSSは、ImageNetにおける±30°回転攻撃に対して30.4%の保証された堅牢精度を達成し、意味的変換に対するこのデータセットで初めて非自明な保証された堅牢性を実現した。
• CIFAR-10では、回転±10°および明るさ±10%に対して63.6%の保証された堅牢精度を達成し、先行する最先端手法を上回った。
• MNISTでは、スケーリング±50%および明るさ±50%に対して97.4%の保証された堅牢精度を達成し、単純なデータセットにおいても優れた性能を示した。
• 幅広いスムージング分散において、高い良性精度（例：CIFAR-10で83.0%）を維持しながら、高い保証された堅牢性を達成した。
• TSSは適応的攻撃および予期せぬ汚染（CIFAR-10-C や ImageNet-C を含む）に対しても堅牢であることが実証され、標準的な摂動を超えた一般化能力を有している。
• 認証のきめ細かさと計算コストのトレードオフが観察された：サンプル数を増やすことで堅牢性の上限が向上するが、計算時間は線形に増加した。