[論文レビュー] Who's Afraid of Adversarial Queries? The Impact of Image Modifications on Content-based Image Retrieval

Zhuoran Liu, Zhengyu Zhao+1 more|arXiv (Cornell University)|Jan 29, 2019

Adversarial Robustness in Machine Learning参考文献 40被引用数 5

ひとこと要約

この論文は、ラベルなしで動作する新しい非教師ありニューラル摂動手法である PIRE（Perturbations for Image Retrieval Error）を紹介する。PIRE は、コンテンツベース画像検索（CBIR）システムを破壊するために、ラベルデータを必要とせずに敵対的クエリを生成する。PIRE はニューラル特徴、局所特徴、グローバル特徴のすべてを効果的に遮断し、Oxford5k および Paris6k データセットで mAP を最大 80% 割り引く。これは、特徴タイプにかかわらず強力な敵対的影響を示している。

ABSTRACT

An adversarial query is an image that has been modified to disrupt content-based image retrieval (CBIR) while appearing nearly untouched to the human eye. This paper presents an analysis of adversarial queries for CBIR based on neural, local, and global features. We introduce an innovative neural image perturbation approach, called Perturbations for Image Retrieval Error (PIRE), that is capable of blocking neural-feature-based CBIR. PIRE differs significantly from existing approaches that create images adversarial with respect to CNN classifiers because it is unsupervised, i.e., it needs no labelled data from the data set to which it is applied. Our experimental analysis demonstrates the surprising effectiveness of PIRE in blocking CBIR, and also covers aspects of PIRE that must be taken into account in practical settings, including saving images, image quality and leaking adversarial queries into the background collection. Our experiments also compare PIRE (a neural approach) with existing keypoint removal and injection approaches (which modify local features). Finally, we discuss the challenges that face multimedia researchers in the future study of adversarial queries.

研究の動機と目的

• 人間の視覚では区別がつかないが、関連する結果を正しく検索できない画像を用いた、コンテンツベース画像検索（CBIR）における敵対的クエリの可能性と影響を調査すること。
• ターゲットデータセットのラベルや関連性判断を必要とせず、CBIR の意思決定境界情報が欠落しているという課題に対処する敵対的クエリ生成手法を開発すること。
• ニューラル摂動（PIRE）が、ニューラル特徴、局所特徴（SIFT）、グローバル特徴（CEDD/GIST）のすべてに対して、CBIR システムに与える効果を評価すること。
• 画像品質、視覚的類似性、敵対的摂動がバックグラウンドコレクションに漏れ込むリスクといった実用的課題を分析すること。
• 敵対的クエリが、防御の脅威としての役割と、マルチメディアシステムにおけるプライバシー保護のツールとしての二重の役割を果たす可能性を検討すること。

提案手法

• PIRE は、ターゲットデータセットからのラベルや関連性アノテーションを一切使用せず、検索性能を最小限に抑えるようにピクセルレベルの摂動を最適化することで、敵対的クエリを生成する非教師ありニューラル摂動手法である。
• この手法は、入力画像のピクセルに対する勾配を深層ニューラルネットワークで計算し、視覚的類似性を保ちながら検索精度を著しく低下させるように狙いを定めた摂動を可能にする。
• PIRE は、摂動クエリが元のクエリに対して相対的に低い順位付けを受けるように促すコントラスト損失を目的関数として使用して訓練される。
• このアプローチは、深層ニューラル特徴（例：VGG）に基づく、局所的 SIFT 特徴、およびグローバルな CEDD/GIST 特徴に基づく複数の CBIR システムで評価されている。
• PIRE は、ガウスノイズやキーポイント除去・挿入（KR&I）手法といったベースライン手法と比較され、相対的な有効性が評価されている。
• 実験は、画像全体とバウンディングボックスの両方のクエリタイプを用いて、Oxford5k および Paris6k という標準ベンチマークで実施され、クエリタイプごとの耐性を評価している。

実験結果

リサーチクエスチョン

• RQ1 ターゲットデータセットからのラベルや関連性判断を必要とせずに、CBIR システム向けに敵対的クエリを生成することは可能か？
• RQ2 PIRE は、ニューラル特徴、局所特徴（SIFT）、グローバル特徴（CEDD/GIST）という異なる CBIR 特徴タイプにおいて、検索性能をどれほど著しく低下させることができるか？
• RQ3 画像品質の劣化や、摂動がバックグラウンドコレクションに漏れ込むリスクといった、敵対的クエリの実用的制限要因は何か？
• RQ4 ガウスノイズやキーポイント除去・挿入（KR&I）といった従来手法と比較して、PIRE の有効性はどの程度高いか？
• RQ5 画像編集や圧縮処理の後でも、敵対的摂動はどの程度有効性を保っているか？

主な発見

• PIRE は、Oxford5k におけるニューラル特徴で mAP を 74.42 から 2.54（T=500）にまで低下させ、検索精度が 80% 割り引かれるという著しい低下を示した。
• グローバル特徴（CEDD/GIST）においても、Oxford5k では mAP を 19.29 から 14.71 に、Paris6k では 18.30 から 12.11 に低下させ、強力な遮断能力を示した。
• ガウスノイズは Oxford5k で mAP を 2.97 点しか低下させないのに対し、PIRE は著しく強い影響を及ぼしており、その狙いを定めた敵対的性質が裏付けられた。
• 画像編集（例：クロップ、リサイズ）の後には PIRE の有効性が低下したため、現実世界の変換に対して敵対的クエリの効力が失われる可能性があることが示された。
• キーポイント除去・挿入（KR&I）手法は PIRE よりも画像編集に対してより耐性があることが示され、攻撃強度と耐性の間にはトレードオフがあることが示唆された。
• 本研究では、CBIR の性能低下がわずかでも（例：mAP 20–30% の低下）悪意ある利用を阻害できる可能性があることが判明し、敵対的クエリのプライバシー保護への応用可能性が浮き彫りになった。