[論文レビュー] Universal Perturbation Attack Against Image Retrieval

Jie Li, Rongrong Ji+4 more|arXiv (Cornell University)|Dec 3, 2018

Adversarial Robustness in Machine Learning参考文献 42被引用数 13

ひとこと要約

本稿では、画像検索システムに対する最初のユニバーサル adversarial perturbation (UAP) 攻撃を提案する。この攻撃は、特徴空間における近傍関係を損なうことで検索性能を低下させることを目的としている。マルチスケールのランダムリサイズとランクドキュメンテーションを活用することで、複数のデータセットで顕著な mAP および mP@10 の低下を達成し、Google Images などの実世界のシステムに対しても効果を示した。

ABSTRACT

Universal adversarial perturbations (UAPs), a.k.a. input-agnostic perturbations, has been proved to exist and be able to fool cutting-edge deep learning models on most of the data samples. Existing UAP methods mainly focus on attacking image classification models. Nevertheless, little attention has been paid to attacking image retrieval systems. In this paper, we make the first attempt in attacking image retrieval systems. Concretely, image retrieval attack is to make the retrieval system return irrelevant images to the query at the top ranking list. It plays an important role to corrupt the neighbourhood relationships among features in image retrieval attack. To this end, we propose a novel method to generate retrieval-against UAP to break the neighbourhood relationships of image features via degrading the corresponding ranking metric. To expand the attack method to scenarios with varying input sizes or untouchable network parameters, a multi-scale random resizing scheme and a ranking distillation strategy are proposed. We evaluate the proposed method on four widely-used image retrieval datasets, and report a significant performance drop in terms of different metrics, such as mAP and mP@10. Finally, we test our attack methods on the real-world visual search engine, i.e., Google Images, which demonstrates the practical potentials of our methods.

研究の動機と目的

• 画像分類とは根本的に異なるデータ形式、目的、入力サイズの可変性、モデル出力構造を有する画像検索システムを標的としたユニバーサル adversarial 攻撃の欠如に応えること。
• 深層特徴空間におけるポイントワイズ、ペアワイズ、リストワイズの近傍関係を破壊することで、検索ランク品質を低下させること。
• 入力サイズの変動に強く、モデルパラメータが入手不能なブラックボックス状況でも有効であることを保証すること。
• Google Images などの実世界のシステムを対象に攻撃を評価し、実用的妥当性と影響力を示すこと。

提案手法

• 特徴空間における類似性構造を操作することで近傍関係を損なうユニバーサル摂動生成フレームワークを提案し、最近傍グループと遠方グループのタプルベース構築を用いる。
• 実世界の検索システムで一般的な可変入力サイズに対し、転送性と耐性を向上させるマルチスケールランダムリサイズ戦略を導入する。
• ネットワークパラメータが入手不能な状況でも攻撃を可能にするため、粗い段階から細かい段階へのランクドキュメンテーション戦略を採用し、サーヴィレートモデルを用いて摂動最適化を誘導する。
• 摂動のみを勾配ベースで最適化し、前方伝搬中に入力画像を動的にリサイズすることで、実世界の可変性を模擬する。
• 特徴空間において正例同士の類似性を最小化し、負例同士の類似性を最大化する損失関数を設計し、効果的にランク性能を低下させる。
• クリーン画像に摂動を適用し、得られた特徴シフトを評価することで、mAP や mP@10 などの検索メトリクスにおける低下を測定する。

実験結果

リサーチクエスチョン

• RQ1 分類ラベルではなくランク付けと類似性関係に依存する画像検索システムに、ユニバーサル adversarial 摂動を効果的に適用できるか？
• RQ2 実世界の画像検索システムで一般的な入力サイズの変動に耐性を持つユニバーサル摂動をどのように実現できるか？
• RQ3 モデルパラメータが入手不能な状況で、画像検索モデルに対して効果的なブラックボックス攻撃を実現するにはどのような戦略が必要か？
• RQ4 このような摂動が、Oxford5k や Paris6K のような標準ベンチマーク上で、どれほど検索性能を低下させられるか？
• RQ5 提案された攻撃は、Google Images のような実世界のビジュアルサーチエンジンを効果的にだますことができるか？

主な発見

• 提案手法は、複数のモデルとデータセットで顕著な mAP および mP@10 の低下を達成し、Paris6K データセットにおいて A-GeM で 51.41%、V-GeM で 55.02% の mAP を記録した。
• マルチスケールランダムリサイズ戦略は、固定サイズリサイズに比べ攻撃成功率を向上させ、バランスの取れたスケール範囲で最適な性能が得られた。
• Google Images では、検索結果の 62.85% が欠落しており、これはクリーンクエリからの上位100件のうち 62.85% が摂動付きクエリでは検出されないことを示している。
• 異なるモデル（例：MAC と GeM プーリング）で学習された摂動は外観が異なるが、同じモデルタイプからの摂動は視覚的に類似性を示しており、モデル間での転送性が示唆された。
• 攻撃はポイントワイズ、ペアワイズ、リストワイズの3つの関係タイプすべてに効果的であり、近傍構造の損ないが実現可能な攻撃ベクトルであることが示された。
• ランクドキュメンテーション戦略により、ブラックボックス攻撃が効果的に実現され、サーヴィレートモデルがターゲットモデルのパラメータが不明な状況でも摂動生成を誘導できることを示した。