[論文レビュー] Bag of Tricks and A Strong baseline for Image Copy Detection

Wenhao Wang, Weipu Zhang+2 more|arXiv (Cornell University)|Nov 13, 2021

Advanced Image and Video Retrieval Techniques参考文献 34被引用数 4

ひとこと要約

本論文は、NeurIPS 2021 Facebook AI Image Similarity Challenge Descriptor Trackで526チーム中3位を達成した、強力な非教師あり事前学習ベースのベースラインを提示する。画像コピー検出のための新規な記述子伸長戦略を採用し、実世界のソーシャルメディア環境における多数の干渉画像を伴う状況でも高い耐性を示す。本手法は記述子の伸長によってクエリ間スコア分散の安定化を実現し、検索精度を向上させる。また、自己教師あり学習（Barlow-Twins）とデータ拡張を活用することで、実世界の多様な画像変換に対して耐性を高めている。

ABSTRACT

Image copy detection is of great importance in real-life social media. In this paper, a bag of tricks and a strong baseline are proposed for image copy detection. Unsupervised pre-training substitutes the commonly-used supervised one. Beyond that, we design a descriptor stretching strategy to stabilize the scores of different queries. Experiments demonstrate that the proposed method is effective. The proposed baseline ranks third out of 526 participants on the Facebook AI Image Similarity Challenge: Descriptor Track. The code and trained models are available at https://github.com/WangWenhao0716/ISC-Track2-Submission.

研究の動機と目的

• 数十億もの干渉画像と多様な画像変換が存在する実世界のソーシャルメディア環境における画像コピー検出の課題に対処すること。
• 特にBarlow-Twinsを用いた自己教師あり事前学習に教師あり事前学習を置き換えることで、検索性能を向上させること。
• Descriptor Trackの評価プロトコルにおいて、一貫性のあるパフォーマンスを実現するために、記述子空間におけるクエリ間マッチングスコア分散の安定化を図ること。
• 挑戦的なISC2021ベンチマークで既存手法を上回る実用的で効果的なベースラインを構築すること。

提案手法

• 教師あり事前学習の代わりに、ImageNet上でBarlow-Twinsの自己教師あり事前学習を採用し、実験的に優れた性能を達成している。
• GeMプーリング、WaveBlock、高次元プロジェクタ、学習可能な行列、ハードネガティブマイニングを用いたトリプレット損失、クロスエントロピー損失を含む、さまざまなテクニックを活用した深層メトリック学習ベースラインを採用している。
• ランダムクロッピング、カラージッタ、ぼかし、回転、テキスト・絵文字・画像のオーバーレイなどの多様なデータ拡張を適用し、表現の耐性を向上させている。
• 推論時に記述子の伸長を導入し、スコアを再スケーリングすることで、クエリ間でのスコア分散を安定化させ、Descriptor Trackの制約に違反せずにスコア正規化の近似を実現している。
• L2正規化された特徴量の統合を用いたマルチスケール推論（200×200から400×400）を実施し、耐性と精度を向上させている。
• オーバーレイ検出にYOLOv5を活用し、画像のオーバーレイを特定・処理することで、マッチングペアにおいて約1%の性能向上を達成している。

実験結果

リサーチクエスチョン

• RQ1 実世界の条件下で、教師あり事前学習に代えて自己教師あり事前学習が画像コピー検出において優れた性能を示せるか？
• RQ2 スコア正規化ができない状況下で、クエリ間の記述子スコア分散をどのように安定化できるか？
• RQ3 データ拡張とマルチスケール推論は、未観測の画像変換に対して、コピー検出の耐性をどの程度向上させるか？
• RQ4 ニードルインハイズクエースの設定下で、オーバーレイ検出と記述子の伸長は検索パフォーマンスにどのような影響を及ぼすか？

主な発見

• 提案されたベースラインは、ISC2021テストセットにおいてマイクロ平均精度0.73017を達成し、Descriptor Trackで526名中3位を記録した。
• Barlow-Twinsを用いた非教師あり事前学習により、教師あり事前学習に比べ14%以上の性能向上が見られ、マイクロ平均精度は0.39089から0.53218に上昇した。
• 記述子の伸長のみでマイクロ平均精度が17.26%向上（0.70481 → 0.73017）し、クエリごとのメトリクスに変化がなかったことから、スコアの安定化が主なメカニズムであると示された。
• YOLOv5によるオーバーレイ検出は、約1%の性能向上をもたらし、画像のオーバーレイを特定・処理することで効果を発揮した。
• マルチスケールテストにより、マイクロ平均精度は71.49%から73.02%に向上し、耐性のある特徴抽出の有効性が確認された。
• 本手法は優れた一般化性能を示し、クロッピング、ぼかし、カラージッタ、画像オーバーレイを含む多様な変換が施された大規模ベンチマークでも高いパフォーマンスを発揮した。