[論文レビュー] Fine-grained Synthesis of Unrestricted Adversarial Examples

Omid Poursaeed, Tianxing Jiang+4 more|arXiv (Cornell University)|Nov 20, 2019

Adversarial Robustness in Machine Learning参考文献 63被引用数 9

ひとこと要約

本稿では、最新の生成モデル（例：StyleGANなど）における潜在変数の微細な操作を用いて、高解像度で制約なしの adversarial examples を生成する新規手法を提案する。ノルム制約付き攻撃とは異なり、実際の画像に類似した、多様体上に位置するリアルな adversarial 画像を生成でき、認証防御を回避し、敵対的訓練に用いることでモデルの頑健性を向上させることができる。人間による評価では、自然な外観であり、正しく分類されていることが確認された。

ABSTRACT

We propose a novel approach for generating unrestricted adversarial examples by manipulating fine-grained aspects of image generation. Unlike existing unrestricted attacks that typically hand-craft geometric transformations, we learn stylistic and stochastic modifications leveraging state-of-the-art generative models. This allows us to manipulate an image in a controlled, fine-grained manner without being bounded by a norm threshold. Our approach can be used for targeted and non-targeted unrestricted attacks on classification, semantic segmentation and object detection models. Our attacks can bypass certified defenses, yet our adversarial images look indistinguishable from natural images as verified by human evaluation. Moreover, we demonstrate that adversarial training with our examples improves performance of the model on clean images without requiring any modifications to the architecture. We perform experiments on LSUN, CelebA-HQ and COCO-Stuff as high resolution datasets to validate efficacy of our proposed approach.

研究の動機と目的

• ノルム制約のない攻撃の限界を克服し、ノルムの制約なしに、画像の特徴を微細に制御可能な方法で操作することを目的とする。
• 人間の評価によって確認されたように、自然な画像と見分けがつかない、多様体上に位置するリアルな adversarial 画像を生成することを目的とする。
• アーキテクチャの変更なしに、これらの例を敵対的訓練に用いることで、モデルの頑健性を向上させることを目的とする。
• 分類、セマンティックセグメンテーション、オブジェクト検出を含む多様なタスクにおける本手法の有効性を示すこと。
• ランダムスムージングに基づく認証防御を、ノルム制約下での確実な頑健性保証でさえも破壊できることを示すこと。

提案手法

• 事前学習済みの生成モデル（例：StyleGAN）を活用し、画像の変動要因を分離することで、特定の属性に対する微細な制御を可能にする。
• ターゲットモデルの損失関数を用いて潜在空間の最適化をガイドし、分類器を欺くが、リアルさを保った adversarial 画像を生成する。
• 複数の解像度における潜在空間に対して、粗いおよび微細な操作を適用し、多様な adversarial パーティクルを生成する。
• 生成モデルを介して現実の画像に制限された探索空間を確保することで、adversarial 画像が自然画像の多様体上に留まるようにする。
• 二段階のプロセスを採用：第一に、潜在最適化により adversarial 画像を生成する。第二に、人間評価と t-SNE 視覚化を用いてリアルさを検証する。
• これらの adversarial 画像を用いてモデルを訓練することで、アーキテクチャの変更なしにクリーンデータに対する性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 生成モデルにおける微細な潜在空間操作により、ノルム制約のない、リアルで制約なしの adversarial 例を生成できるか？
• RQ2 人間による評価により、これらの adversarial 例は自然な画像と見分けがつかないのか？
• RQ3 これらの例を用いた敵対的訓練により、ノルム制限付きの摂動でしばしば観察される性能低下とは逆に、クリーン画像に対するモデルの精度が向上するのか？
• RQ4 本手法により、ノルム制約下での頑健性保証を提供するランダムスムージングに基づく認証防御を破壊できるのか？
• RQ5 本手法は、セマンティックセグメンテーションやオブジェクト検出のような複雑なビジョンタスクにも適用可能か？

主な発見

• ノイズベースの adversarial 例は99.2%、スタイリストベースの例は98.7%の被験者が正しく分類しており、視覚的リアリズムが確認された。
• 元の StyleGAN 生成画像の74.7%が「本物」と評価された。ノイズベースの adversarial 例は74.3%、スタイリストベースの例は70.8%が同様に「本物」と判定され、リアリズム認識の低下が4%未満であることが示された。
• ランダムスムージングに基づく認証防御（σ=0.5 の ResNet-50）は、クリーン ImageNet 画像では63.1%の精度を示したが、スタイリストベースの adversarial 例では21.7%、ノイズベースの adversarial 例では37.8%に低下し、本攻撃に対して無効であることが立証された。
• 本手法の adversarial 例を用いた敵対的訓練により、LSUN 分類（89.5% vs. 88.9%）および COCO-Stuff セグメンテーション（69.3% vs. 67.9%）のクリーンセット精度が向上した。ノルム制限付きの訓練とは異なり、性能が低下しなかった。
• 本手法は、分類、セマンティックセグメンテーション、オブジェクト検出の各タスクにおいて、ターゲットおよびノンターゲットの adversarial 例を効果的に生成でき、広範な適用可能性を示した。
• 本手法はターゲットモデルのアーキテクチャの変更を一切必要とせず、多様なタスクおよびデータセットにおいて一貫した性能を示すなど、高い転送性を維持している。