[論文レビュー] Unsupervised Adversarial Attacks on Deep Feature-based Retrieval with GAN

Guoping Zhao, Mingyu Zhang+2 more|arXiv (Cornell University)|Jul 12, 2019

Adversarial Robustness in Machine Learning参考文献 42被引用数 24

ひとこと要約

本稿では、深層特徴ベースの画像検索システムを攻撃するために、目に見えない、クエリ固有の adversarial パーティクルを生成する非教師あり生成的対抗ネットワーク、UAA-GAN を提案する。ラベルなしデータで訓練することで、UAA-GAN は微細で現実的なパラメータ変更を生成し、検索性能を著しく低下させる—例えば、ResNet50 では mAP が 0.01 未満に低下する—一方で、元のクエリ画像との視覚的類似性を維持する。

ABSTRACT

Studies show that Deep Neural Network (DNN)-based image classification models are vulnerable to maliciously constructed adversarial examples. However, little effort has been made to investigate how DNN-based image retrieval models are affected by such attacks. In this paper, we introduce Unsupervised Adversarial Attacks with Generative Adversarial Networks (UAA-GAN) to attack deep feature-based image retrieval systems. UAA-GAN is an unsupervised learning model that requires only a small amount of unlabeled data for training. Once trained, it produces query-specific perturbations for query images to form adversarial queries. The core idea is to ensure that the attached perturbation is barely perceptible to human yet effective in pushing the query away from its original position in the deep feature space. UAA-GAN works with various application scenarios that are based on deep features, including image retrieval, person Re-ID and face search. Empirical results show that UAA-GAN cripples retrieval performance without significant visual changes in the query images. UAA-GAN generated adversarial examples are less distinguishable because they tend to incorporate subtle perturbations in textured or salient areas of the images, such as key body parts of human, dominant structural patterns/textures or edges, rather than in visually insignificant areas (e.g., background and sky). Such tendency indicates that the model indeed learned how to toy with both image retrieval systems and human eyes.

研究の動機と目的

• 深層特徴ベースの画像検索システムが、局所的摂動に対しては頑健であるにもかかわらず、対抗的攻撃に対して脆弱であるかどうかを調査すること。
• ターゲット検索モデルの勾配情報やラベルデータにアクセスせずに、効果的な対抗的例を生成する非教師あり手法を開発すること。
• 生成された対抗的パラメータ変更が視覚的に見えにくく、かつ検索性能を著しく損なうものであることを保証すること。
• 異なる深層特徴抽出器およびプーリング機構間での対抗的例の転送性を評価すること。
• GAN アーキテクチャにおけるディスクライマーが、パラメータ変更の現実性と知覚的質をどのように向上させるかを分析すること。

提案手法

• UAA-GAN は、教師なしのラベルなし画像のみを用いて訓練する条件付き GAN フレームワークを採用し、クエリ固有のパラメータ変更を生成する。
• 生成器は、変更済みクエリの深層特徴表現とターゲット特徴空間との距離を最小化するように訓練され、元の近隣特徴から遠ざけるようにする。
• ディスクライマーは知覚的リアリズムを強制し、パラメータ変更が背景領域ではなく、顕著またはテクスチャのある領域（例：人体部、エッジ）に集中するように促進する。
• 敵対的損失と特徴空間の対照的損失を組み合わせて、エンド・ツー・エンドで訓練することで、目立たなさと攻撃効果の両方を保証する。
• 生成器は各入力クエリに特化したパラメータ変更を生成するため、再訓練なしに任意のクエリ画像に適用可能である。
• 本手法は複数の検索タスクで評価された：画像検索（Oxford5k, Paris）、人物再識別（Market1501, DukeMTMC-ReID）、顔認識（FaceScrub）。

実験結果

リサーチクエスチョン

• RQ1 深層特徴ベースの画像検索システムは、グローバルプーリングと不変表現のおかげで分類モデルよりも頑健であるにもかかわらず、対抗的攻撃に効果的に適用可能か？
• RQ2 勾配情報やラベルデータにアクセスせずに、非教師あり手法が検索システム向けに対抗的例を生成可能か？
• RQ3 生成された対抗的例は、異なる深層特徴抽出器およびプーリング関数間で転送性を示すか？
• RQ4 GAN アーキテクチャにおけるディスクライマーの導入が、パラメータ変更の知覚的質とリアリズムにどのように影響するか？
• RQ5 パラメータ変更が、視覚的に重要でない領域ではなく、顕著な画像領域（例：人体部、エッジ）に集中することで、人間の知覚をどれほど巧みに利用しているか？

主な発見

• UAA-GAN は検索性能を著しく低下させる：Market1501 と DukeMTMC-ReID における ResNet50 の mAP は 0.010 未満に低下し、ほぼ完全なシステム障害を示す。
• より頑健な MGN モデルに対しても、Market1501 では mAP が 0.116、DukeMTMC-ReID では 0.045 に低下し、アーキテクチャを問わず攻撃の有効性が確認された。
• 顔認識タスクでは、SphereFace の Rank-1 正答率が 0.713 から 0.215 に低下し、Rank-10 正答率は 0.5 を下回り、検索のほぼ完全な失敗を示した。
• UAA-GAN におけるディスクライマーの導入により、パラメータ変更の質が向上し、顕著な領域（例：人体部、エッジ）に集中するようになり、ディスクライマーなしの GAN よりも視覚的な不自然さが減少した。
• 同じネットワークアーキテクチャ内での対抗的例の転送性は強く、例えば VGG-MAC から VGG-RMAC への転送では mAP が 0.788 から 0.515 に低下した。
• 異なるアーキテクチャ間（例：VGG から ResNet）の転送性は弱いが、依然として有効で、VGG-GeM を用いた攻撃で、ResNet ベースのモデルに対して mAP が 0.860 から 0.449 に低下した。