[論文レビュー] Contrastive Learning with Large Memory Bank and Negative Embedding Subtraction for Accurate Copy Detection

Shuhei Yokoo|arXiv (Cornell University)|Dec 8, 2021

Domain Adaptation and Few-Shot Learning被引用数 9

ひとこと要約

本論文は、大規模なメモリバンクとネガティブ埋め込みの差分処理を組み合わせた対照学習フレームワークを提案し、正確な画像コピーディテクションを実現する。EfficientNetV2を段階的な解像度とハードなデータ拡張で訓練し、類似したネガティブ埋め込みを差し引く新しい後処理ステップを適用することで、最先端の性能を達成した。Facebook AI Image Similarity Challenge: Descriptor Trackで1位を獲得し、µAP 0.7743、Recall@P90 0.6892の成績を収めた。

ABSTRACT

Copy detection, which is a task to determine whether an image is a modified copy of any image in a database, is an unsolved problem. Thus, we addressed copy detection by training convolutional neural networks (CNNs) with contrastive learning. Training with a large memory-bank and hard data augmentation enables the CNNs to obtain more discriminative representation. Our proposed negative embedding subtraction further boosts the copy detection accuracy. Using our methods, we achieved 1st place in the Facebook AI Image Similarity Challenge: Descriptor Track. Our code is publicly available here: \url{https://github.com/lyakaap/ISC21-Descriptor-Track-1st}

研究の動機と目的

• 大規模なデータベースにおける画像の改変コピーの検出という課題に取り組むこと。これはコンテンツの完全性とパラフレージ検出において重要な問題である。
• 大規模なバッチ間メモリバンクを用いた対照学習を活用することで、コピーディテクションのための表現学習を向上させること。
• 段階的な訓練戦略を用い、徐々に複雑化するデータ拡張を組み込むことで、モデルの汎化性能とロバスト性を向上させること。
• ベクトルの差分処理を用いてクエリ埋め込みをハードネガティブサンプルから分離する新しい後処理技術を開発すること。
• 難易度の高いDISC21データセットにおいて、最先端の性能を達成することを目的とし、Facebook AI Image Similarity Challengeを通じてその有効性を実証すること。

提案手法

• バッチ間メモリバンクを用いた対照学習により、負例の多様性と表現の識別能を向上させるために、EfficientNetV2バックボーンを訓練する。
• 入力解像度を256×256から512×512に段階的に引き上げ、徐々に複雑化するデータ拡張を組み込む多段階の段階的訓練戦略を採用する。
• クロップ、回転、透視変換、テキスト/絵文字の重ね合わせ、JPEG圧縮を含む包括的なデータ拡張パイプラインを適用し、実世界の画像操作を模倣するように慎重に調整する。
• 最終段階の訓練で、公開フェーズ1のデータセットからの正例ペア（真のペア）を用い、手作業で編集された難易度の高い例に対する学習を強化する。
• ネガティブ埋め込みの差分処理を導入：クエリ記述子から、最も近いk個のネガティブ埋め込みを繰り返し差し引くことで、類似したが誤りのネガティブ例による干渉を低減する。
• 差分処理後の最終記述子を正規化し、単位ベクトルの大きさを維持することで、類似度ベースの検索との互換性を保つ。

実験結果

リサーチクエスチョン

• RQ1 対照学習における大規模なメモリバンクが、コピーディテクションのための画像埋め込みの識別能を顕著に向上させ得るか？
• RQ2 徐々に複雑化するデータ拡張を用いた段階的訓練が、実世界の画像操作に対してモデルのロバスト性を向上させるか？
• RQ3 ネガティブ埋め込みの差分処理のようなシンプルな後処理技術が、ハードネガティブサンプルからのクエリ埋め込みの分離を可能にし、検索性能を顕著に向上させるか？
• RQ4 参照セットの重複が禁止されている状況において、トレーニングセットの画像をハードネガティブサンプルの代理として用いることは効果的か？
• RQ5 提案手法は、参照セットを超えて一般化するが、過学習を引き起こさずにその性能を維持できるか？

主な発見

• 提案手法は、フェーズ1のプライベートテストセットにおいて、µAP 0.7743、Recall@P90 0.6892を達成し、ベースライン手法を顕著に上回った。
• 真のペア（Trained w/ GT）を用いた最終段階の訓練が、最も大きな性能向上をもたらし、µAPを0.6435から0.7557に向上させた。
• ネガティブ埋め込みの差分処理のみを適用した場合でも、µAPが0.0188、Recall@P90が0.0488向上し、その強力な影響を示した。
• 最終段階の訓練で参照画像の代わりにトレーニングセットの画像を用いた場合、µAPはわずか0.0057の低下にとどまり、過学習を伴わず、高いロバスト性と一般化性能を示した。
• 本手法はFacebook AI Image Similarity Challenge: Descriptor Trackで1位を獲得し、最終順位付けにおけるµAP 0.7743、Recall@P90 0.6892の成績を収めた。