[論文レビュー] AdvSPADE: Realistic Unrestricted Attacks for Semantic Segmentation

Guangyu Shen, Chengzhi Mao+2 more|arXiv (Cornell University)|Oct 6, 2019

Adversarial Robustness in Machine Learning参考文献 56被引用数 12

ひとこと要約

本稿では、SPADEアーキテクチャを用いた条件付きGANに追加の adversarial loss を導入することで、高品質で現実的で制限のない敵対的サンプルをセマンティックセグメンテーションモデル向けに生成する新規手法AdvSPADEを提案する。CityscapesおよびADE20KにおいてPGDより最大41.0%高い攻撃成功率を達成し、ノルム制限付きの敵対的データで訓練された頑健なモデルまでも効果的にだますことに成功している。

ABSTRACT

Due to the inherent robustness of segmentation models, traditional norm-bounded attack methods show limited effect on such type of models. In this paper, we focus on generating unrestricted adversarial examples for semantic segmentation models. We demonstrate a simple and effective method to generate unrestricted adversarial examples using conditional generative adversarial networks (CGAN) without any hand-crafted metric. The naïve implementation of CGAN, however, yields inferior image quality and low attack success rate. Instead, we leverage the SPADE (Spatially-adaptive denormalization) structure with an additional loss item to generate effective adversarial attacks in a single step. We validate our approach on the popular Cityscapes and ADE20K datasets, and demonstrate that our synthetic adversarial examples are not only realistic, but also improve the attack success rate by up to 41.0\% compared with the state of the art adversarial attack methods including PGD.

研究の動機と目的

• 頑健なセマンティックセグメンテーションモデルに対するノルム制限付き攻撃の限界を解決すること。
• 高解像度画像においても意味的整合性と視覚的忠実度を保ちながら、現実的で制限のない敵対的サンプルを生成すること。
• 条件付きGANを用いて生成された敵対的サンプルが、最先端の頑健なセグメンテーションモデルを効果的に回避できるかどうかを評価すること。
• このような敵対的サンプルをデータ拡張に用いることで、モデルの頑健性を向上させられる可能性を調査すること。

提案手法

• セマンティックセグメンテーション向けに高解像度（最大100万ピクセル）の敵対的画像を生成できるように、SPADEの条件付きGANアーキテクチャを適応する。
• ターゲットのセグメンテーションモデルをだますことを直接最適化するために、SPADEフレームワークに追加の adversarial loss 項を導入する。
• 画像品質および意味的整合性を向上させるために、特徴マッチング損失とVGGの知覚的損失を組み込む。
• 1枚の入力画像から一括で多様な敵対的サンプルを生成できるように、1ステップでモデルを訓練する。
• セグメンテーションラベルが画像生成をガイドする条件付きGANの設定を採用し、構造的および意味的整合性を保証する。
• SPADE構造が備える空間的適応的正規化を活用して、明示的な教師信号なしに現実的なテクスチャとレイアウトを生成する。

実験結果

リサーチクエスチョン

• RQ1 意味的ラベルと整合的で視覚的に現実的な制限のない敵対的サンプルを、セマンティックセグメンテーションモデル向けに生成可能か？
• RQ2 従来のノルム制限付き攻撃（例：PGD）と比較して、このような制限のない敵対的サンプルは最先端のセグメンテーションモデルをどれほど効果的にだますことができるか？
• RQ3 条件付きGANを用いて生成された敵対的サンプルは、ノルム制限付きの摂動で訓練された頑健なモデルを回避できるか？
• RQ4 このような敵対的サンプルをデータ拡張に用いることで、セグメンテーションモデルの頑健性はどの程度向上するか？
• RQ5 人間の観察者は、生成された敵対的サンプルの現実性および意味的整合性をどの程度適切に認識できるか？

主な発見

• AdvSPADEは、Cityscapesデータセットで84%の攻撃成功率を達成し、同じ評価プロトコル下でPGDの57.6%よりも41.0%高い。
• AdvSPADEのFIDスコア67.302は、高い画像品質を示しており、ベースラインのGANよりも顕著に優れており、実画像と同等水準である。
• 人間による評価では、CityscapesにおけるAdvSPADE生成画像の意味的意味が94.4%の被験者により正しく同定された。これは意味的整合性の確認を示している。
• PGDで生成されたノルム制限付きの敵対的データで訓練された頑健モデルでさえ、AdvSPADEの制限のない攻撃に対しては失敗し、DRN-105では僅か3.3%のmIoUにとどまった。
• AdvSPADEから生成された敵対的サンプルを訓練データに組み込むと、その結果得られたモデルはPGD攻撃に対して1.8%の攻撃成功率を示し、頑健性の向上が確認された。
• アブレーションスタディにより、adversarial loss を削除するとモデルが0%の攻撃成功率を示す標準的なSPADEジェネレータに劣化することが確認された。