[論文レビュー] Characterizing Adversarial Examples Based on Spatial Consistency Information for Semantic Segmentation

Chaowei Xiao, Ruizhi Deng+4 more|arXiv (Cornell University)|Oct 11, 2018

Adversarial Robustness in Machine Learning参考文献 46被引用数 51

ひとこと要約

この論文は、空間的な文脈をランダムな画像パッチ間での一貫性として活用することで、セマンティックセグメンテーションにおける敵対的事例を分析し、空間的文脈が適応型攻撃者に対しても堅牢に敵対入力を検出できることを示し、転移性はセグメンテーションモデル間で低いことを示している。

ABSTRACT

Deep Neural Networks (DNNs) have been widely applied in various recognition tasks. However, recently DNNs have been shown to be vulnerable against adversarial examples, which can mislead DNNs to make arbitrary incorrect predictions. While adversarial examples are well studied in classification tasks, other learning problems may have different properties. For instance, semantic segmentation requires additional components such as dilated convolutions and multiscale processing. In this paper, we aim to characterize adversarial examples based on spatial context information in semantic segmentation. We observe that spatial consistency information can be potentially leveraged to detect adversarial examples robustly even when a strong adaptive attacker has access to the model and detection strategies. We also show that adversarial examples based on attacks considered within the paper barely transfer among models, even though transferability is common in classification. Our observations shed new light on developing adversarial attacks and defenses to better understand the vulnerabilities of DNNs.

研究の動機と目的

• 空間的文脈情報がセマンティックセグメンテーションの敵対的事例に与える影響を理解する。
• 善意の出力と敵対的なセグメンテーション出力を区別するための空間的一貫性分析を提案する。
• 適応およびブラックボックスシナリオでの空間的一貫性検出の頑健性を評価する。

提案手法

• 重複する画像パッチをサンプリングし、オーバーラップ領域の予測を比較する空間的一貫性分析を提案する（平均IoUで測定）。
• 複数の空間コンテキストにわたる per-pixel self-entropy を定量化して予測の安定性を可視化する。
• 大域的なスケール検出として、画像のガウシアンブラー/スケール変換をベースラインとして適用し、空間的一貫性と比較する。
• CityscapesとBDD100Kで訓練された最先端のセグメンテーションモデル（DRNおよびDLA）を対象に検出性能を評価する。
• 防御策を知っているアダプティブ攻撃者の下で検出の頑健性を評価する。

実験結果

リサーチクエスチョン

• RQ1 セマンティックセグメンテーションにおける空間的文脈情報は、善意の入力と敵対的入力の違いを明らかにするだろうか。
• RQ2 空間的一貫性ベースの検出器は、防御戦略を知る適応型攻撃者に対して頑健か。
• RQ3 分類問題と比較して、セグメンテーションモデル間で敵対的事例の転移性はどのように現れるか。

主な発見

• 善意の画像と敵対的画像では空間的一貫性が異なり、オーバーラップするパッチの予測は敵対的事例で低いmIOU、善意の事例で高いmIOUを示す。
• 空間的一貫性検出器は、攻撃者が防御を知っている場合（適応攻撃）でも、テストされた攻撃とモデルの下で敵対的事例をほぼ完璧に検出できる。
• スケールベースの検出も敵対的入力と善意の入力を分離できるが、空間的一貫性手法より適応攻撃に対して脆弱である。
• 敵対的事例は、あるセグメンテーションモデルに対して生成されても他のモデルへ転移しにくく、分類問題と比較して転移性が低いことを示す。
• ランダム化されたパッチ選択（より大きなK）は高い検出性能を維持し、敵対者の探索計画を難しくすることで適応攻撃を阻害する。