[論文レビュー] Adversarial Examples on Segmentation Models Can be Easy to Transfer

Jindong Gu, Hengshuang Zhao+2 more|arXiv (Cornell University)|Nov 22, 2021

Adversarial Robustness in Machine Learning参考文献 45被引用数 5

ひとこと要約

本論文は、従来の仮定とは対照的に、セマンティックセグメンテーションモデルにおける adversarial examples が非常に高い転送性を示すことを示している。動的スケーリング（攻撃反復中に入力とマスクをランダムにスケーリング）を導入することで、過適合を伴わず、モデルやスケールを問わず強力な転送性を達成し、セグメンテーションモデルに対するブラックボックス攻撃が実現可能かつ効果的であることを示している。

ABSTRACT

Deep neural network-based image classification can be misled by adversarial examples with small and quasi-imperceptible perturbations. Furthermore, the adversarial examples created on one classification model can also fool another different model. The transferability of the adversarial examples has recently attracted a growing interest since it makes black-box attacks on classification models feasible. As an extension of classification, semantic segmentation has also received much attention towards its adversarial robustness. However, the transferability of adversarial examples on segmentation models has not been systematically studied. In this work, we intensively study this topic. First, we explore the overfitting phenomenon of adversarial examples on classification and segmentation models. In contrast to the observation made on classification models that the transferability is limited by overfitting to the source model, we find that the adversarial examples on segmentations do not always overfit the source models. Even when no overfitting is presented, the transferability of adversarial examples is limited. We attribute the limitation to the architectural traits of segmentation models, i.e., multi-scale object recognition. Then, we propose a simple and effective method, dubbed dynamic scaling, to overcome the limitation. The high transferability achieved by our method shows that, in contrast to the observations in previous work, adversarial examples on a segmentation model can be easy to transfer to other segmentation models. Our analysis and proposals are supported by extensive experiments.

研究の動機と目的

• セマンティックセグメンテーションモデルにおける adversarial examples の転送性を調査し、それらが本質的に非転送的であるという仮定に挑戦すること。
• 画像分類とは異なり、セグメンテーションモデルにおける adversarial examples が常にソースモデルに過適合しない理由を分析すること。
• 特にマルチスケール特徴抽出を特徴とするアーキテクチャ的特徴が、転送性を制限する主要因であることを同定すること。
• セマンティックセグメンテーションモデルにおける adversarial examples の転送性を向上させる、シンプルでありながら効果的な手法を提案すること。
• セマンティックセグメンテーションモデルにおける adversarial examples が、実用的なブラックボックス攻撃を可能にするように、容易に転送可能であるようにすることを示すこと。

提案手法

• 各攻撃反復において、入力画像と正例マスクの両方にランダムスケーリングを適用する動的スケーリング攻撃法を提案する。
• 過適合を防ぎ、転送性を向上させるために、最大10,000回の攻撃反復を多数用いる。
• VGG および ResNet といった異なるバックボーンアーキテクチャと、50%、75%、100%、マルチスケールといった異なるモデルスケールを用いて、耐久性を評価する。
• 標準的な FGSM 基盤の攻撃に動的スケーリングを統合し、モデルを越えて一般化する adversarial examples を生成する。
• スケーリング比（例：0.1 から 0.5）のアブレーションスタディを実施し、転送性を向上させる最適な摂動多様性を同定する。
• 転送性ベンチマークにおいて、動的スケーリング法と標準的な FGSM および反復的 FGSM（FS）攻撃を比較する。

実験結果

リサーチクエスチョン

• RQ1 セグメンテーションモデルにおける adversarial examples は、画像分類と同様に、ソースモデルに過適合するのか？
• RQ2 過適合が存在しない場合でも、なぜセグメンテーションモデルにおける adversarial examples の転送性が制限されるのか？
• RQ3 マルチスケール特徴抽出のようなアーキテクチャ的特徴が、adversarial transferability を妨げることがあるのか？
• RQ4 セグメンテーションモデルにおける adversarial transferability を顕著に向上させるシンプルな手法を設計することは可能か？
• RQ5 異なるモデル、スケール、防御機構を越えて、adversarial examples が非常に高い転送性を示すことは可能か？

主な発見

• VGG バックボーンを搭載したセグメンテーションモデルでは、10,000 回の攻撃反復後でも、ResNet バックボーンと比べてソースモデルに過適合しない。
• 動的スケーリング法は過適合を防ぎ、ResNet ベースのモデルでさえも高い転送性を達成する。
• FCN8s-VGG16 では、動的スケーリング法により、50% スケールでのターゲットモデルの mIoU を、FS 攻撃時の 50.74 から 10.40 にまで低下させ、顕著な改善を示した。
• PSPNet-Res50 では、50% スケールで mIoU を 64.0（FS）から 21.85 に低下させ、強力なスケール間転送性を示した。
• 本手法はマルチスケールおよび adversarially trained モデルに対しても高い転送性を維持し、mIoU がそれぞれ 0.52 および 2.72 にとどまり、標準攻撃を上回った。
• スケーリング比 0.1 から 0.5 が転送性を顕著に向上させ、0.5 を超えるとさらなる向上が得られず、最適な摂動多様性が示された。