[論文レビュー] The 2021 Image Similarity Dataset and Challenge

Matthijs Douze, Giorgos Tolias+10 more|arXiv (Cornell University)|Jun 17, 2021

Advanced Image and Video Retrieval Techniques参考文献 57被引用数 4

ひとこと要約

本論文は、NeurIPS 2021 画像類似度コンテスト向けに設計された大規模で挑戦的な、画像類似度検出のための DISC21 ベンチマークを紹介する。100万件のリファレンスコーパス内で、多様な変換（自動的、手作業、学習済み）を施した画像の改変コピーを検出する能力を評価する「はりきんぎょうのなかの針」設定と、micro-AP 評価を採用し、フェイクニュースやコンテンツ整合性の分野におけるスケーラブルで頑健な画像コピー検出の発展を目的としている。

ABSTRACT

This paper introduces a new benchmark for large-scale image similarity detection. This benchmark is used for the Image Similarity Challenge at NeurIPS'21 (ISC2021). The goal is to determine whether a query image is a modified copy of any image in a reference corpus of size 1~million. The benchmark features a variety of image transformations such as automated transformations, hand-crafted image edits and machine-learning based manipulations. This mimics real-life cases appearing in social media, for example for integrity-related problems dealing with misinformation and objectionable content. The strength of the image manipulations, and therefore the difficulty of the benchmark, is calibrated according to the performance of a set of baseline approaches. Both the query and reference set contain a majority of "distractor" images that do not match, which corresponds to a real-life needle-in-haystack setting, and the evaluation metric reflects that. We expect the DISC21 benchmark to promote image copy detection as an important and challenging computer vision task and refresh the state of the art. Code and data are available at https://github.com/facebookresearch/isc2021

研究の動機と目的

• ソーシャルメディアやコンテンツ整合性分野における現実世界の課題を反映する、現実的で大規模な敵対的画像コピー検出ベンチマークを提供することで、大規模かつ敵対的な画像コピー検出におけるギャップを埋めること。
• 画像コピー検出が解決済みの問題であるという認識をくつがえすために、校正済みの変換を備えた、困難でスケーラブルなデータセットを導入すること。
• 標準化されたオープンベンチマークを提供することで、自己教師あり学習および画像埋め込み手法の研究を促進すること。
• 制御された再現可能条件の下で、リtrievalベース（トラック1）および記述子ベース（トラック2）の両方の手法を評価できるようにすること。
• スコアリングの独立性ルールを厳密に適用することで、リファレンスセットへの過剰適合を防ぎ、手法の公平性を確保すること。

提案手法

• データセットは50,000枚のクエリ画像と100万枚のリファレンス画像から構成され、リサイズ、クロップ、カラー補正、ディープフェイク風の編集などの変換が含まれ、ベースラインパフォーマンスに校正されている。
• 変換は、プラットフォーム間での現実の画像伝播を模倣する、検出が難しいリアルなコピーを生成するために適用される。
• 「はりきんぎょうのなかの針」設定が採用されており、クエリの50％にのみ一致するリファレンス画像が存在し、残りは干渉要因（ダミー）である。
• マッチングペアと非マッチングペアの両方のパフォーマンスを反映するために、マイクロ平均平均適合率（micro-AP）を評価指標として使用する。
• 2つのコンテストトラックが定義されている：トラック1（(クエリ, リファレンス, スコア) トリプレットのCSV提出）とトラック2（L2ベースのマッチング用の256次元記述子のHDF5ファイル提出）。
• 参加者は事前にコードを提出（オープンソース化）することが義務付けられ、クエリ拡張や近隣グラフの使用が禁止されており、過剰適合を防ぐ。

実験結果

リサーチクエスチョン

• RQ1 現在の自己教師あり学習およびリtrievalベースの手法は、大規模かつ敵対的に変換された画像コピーに対してどれほど一般化できるか？
• RQ2 既存の画像埋め込みモデルは、多様で現実的な画像改変に対してどれほど頑健性を保っているか？
• RQ3 標準的なデータ拡張で学習した手法は、大規模で現実世界に近いコピー検出ベンチマークで依然として良好な性能を発揮できるか？
• RQ4 同一の評価条件下で、リtrievalベースと記述子ベースのアプローチにはどれほどのパフォーマンス格差が生じるか？
• RQ5 過剰適合を防ぎつつ、現実世界のコンテンツ整合性タスクを的確に反映する、効果的なベンチマークをどのように設計できるか？

主な発見

• DISC21ベンチマークは、50,000枚のクエリ画像と100万枚のリファレンス画像を含み、クエリの50％に一致するリファレンス画像が存在し、残りは干渉要因（ダミー）である。
• 幾何的変換、手作業による変換、および学習済み変換（例：ディープフェイク）を含む幅広い変換がデータセットに含まれており、ベースラインパフォーマンスに校正済みで、困難さを保証している。
• トラック1（リtrievalベース）の結果は、記述子表現に stricter 制約を課すトラック2（記述子ベース）を上回ると予想される。
• 評価フレームワークでは、マッチングペアと非マッチングペアの両方のパフォーマンスを公平に評価するため、マイクロ-APが使用されており、現実世界の展開要件を反映している。
• ベースライン手法が提供されており、出発点として機能する。コードおよびデータは https://github.com/facebookresearch/isc2021 で公開されており、再現性と長期的なベンチマークに寄与している。
• コンテストは開発・評価・検証の3段階構造となっており、コード検証を実施することで再現性と公平性を確保している。