[論文レビュー] GSmooth: Certified Robustness against Semantic Transformations via Generalized Randomized Smoothing

Zhongkai Hao, Chengyang Ying+4 more|arXiv (Cornell University)|Jun 9, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

GSmoothは、変換をモデル化するための代替画像対画像ネットワークと次元拡張ノイズを用いて、閉形式表現のない非解消可能な変換（ぼかしや画素化を含む）を含む一般化された意味的変換に対する頑健性を証明可能にする一般化された確率的スムージングフレームワークを提案する。理論的証明を適用することで、複数の破損タイプにおいて最先端の認証済み精度と実験的精度を達成する。

ABSTRACT

Certified defenses such as randomized smoothing have shown promise towards building reliable machine learning systems against $\ell_p$-norm bounded attacks. However, existing methods are insufficient or unable to provably defend against semantic transformations, especially those without closed-form expressions (such as defocus blur and pixelate), which are more common in practice and often unrestricted. To fill up this gap, we propose generalized randomized smoothing (GSmooth), a unified theoretical framework for certifying robustness against general semantic transformations via a novel dimension augmentation strategy. Under the GSmooth framework, we present a scalable algorithm that uses a surrogate image-to-image network to approximate the complex transformation. The surrogate model provides a powerful tool for studying the properties of semantic transformations and certifying robustness. Experimental results on several datasets demonstrate the effectiveness of our approach for robustness certification against multiple kinds of semantic transformations and corruptions, which is not achievable by the alternative baselines.

研究の動機と目的

• 閉形式表現が存在しない非解消可能な変換（例：ボケ、画素化）に対する認証可能な頑健性の欠如に取り組むこと。
• 解消可能および非解消可能な意味的変換の両方に対して、証明可能な頑健性認証を可能にする統一された理論的フレームワークを構築すること。
• 複雑で現実世界の画像破損に対してスケーリングや頑健性認証に失敗する既存の確率的スムージング手法の改善に取り組むこと。
• 代替ニューラルネットワークが複雑な意味的変換を効果的に近似しつつ、理論的認証保証を維持できることを示すこと。
• 標準ベンチマーク上での有効性を検証し、きめ細かい認証バインディングと優れた実験的性能を示すこと。

提案手法

• 次元拡張を用いて一般化された確率的スムージングフレームワーク（GSmooth）を導入し、一般化された意味的変換に対する認証可能な頑健性を拡張する。
• ズームブラーとピクセル化などの複雑で非解消可能な意味的変換を近似するために、深層画像対画像変換ネットワークを代替モデルとして使用する。
• 代替モデルの意味層に拡張ノイズを適用し、認証可能な頑健性半径を導出することで理論的保証を実現する。
• 理論的分析により、代替モデルからの近似誤差が実際の認証バインディングにほとんど影響しないことが示された。
• 頑健性とクリーン精度のトレードオフを最適化するため、解消可能な部分には1つのノイズ分散、残差の非解消可能な部分には別のノイズ分散を採用する二段階のノイズ分散戦略を採用する。
• 代替モデルの出力を活用して、認証半径内でのいかなる変換に対しても予測が変わらない認証可能な頑健性領域を計算する。

実験結果

リサーチクエスチョン

• RQ1 閉形式数学的表現が存在しない非解消可能な意味的変換（例：ピクセル化、ズームブラー）に対し、認証可能な頑健性を達成できるか？
• RQ2 代替ニューラルネットワークをどのように用いることで、複雑な意味的変換をモデル化しつつ理論的認証保証を維持できるか？
• RQ3 ガウス分布、一様分布、指数分布などの異なるノイズ分布が、意味的変換の文脈における認証可能な頑健性に与える影響は何か？
• RQ4 代替モデルにおけるノイズ分散の選択が、認証精度と頑健性半径に与える影響は何か？
• RQ5 提案手法は、多様な画像破損において高い認証精度と強力な実験的頑健性を両立できるか？

主な発見

• CIFAR-10において、GSmoothはデフォーカスブラー（82.4%）、ズームブラー（77.1%）、ピクセル化（76.7%）の各条件下で、ベースラインを著しく上回る最先端の認証済み精度を達成した。
• 適応的攻撃に対して、GSmoothはデフォーカスブラー条件下で認証半径0.5、認証精度72.1%を維持し、認証バインディングのタイトさを示した。
• CIFAR-10-Cにおいて、GSmoothは大多数の破損タイプで実験的精度を向上させ、優れた一般化性能と頑健性を示した。
• アブレーションスタディの結果、大半径の認証には指数分布ノイズが最も優れており、小半径では一様分布ノイズが優れた性能を示した。
• 意味層における拡張ノイズは、標準的な画像レベルのノイズよりも、全体的な意味的特徴をよりよく保持していたことが、可視化比較で示された。
• スノーデータに対して、GSmoothは認証半径0.3および0.5を達成し、重度の破損に対しても正しく予測を保ったことから、実用的な安全保証を示した。