[論文レビュー] Contrastive Quantization with Code Memory for Unsupervised Image Retrieval

Jinpeng Wang, Ziyun Zeng+3 more|arXiv (Cornell University)|Sep 11, 2021

Advanced Image and Video Retrieval Techniques被引用数 4

ひとこと要約

MeCoQは、ラベルなしデータを用いた画像検索のための新規な非教師あり深層量子化手法を提案する。対照学習と新規な量子化コードメモリを統合することで、特徴のずれを低減し、SOTA手法を上回る性能を達成する。コード語の多様性正則化と低ずれコードメモリを導入することで、ベンチマークデータセット上で最先端の性能を発揮し、最大2.77ポイントの平均MAP向上を達成する。

ABSTRACT

The high efficiency in computation and storage makes hashing (including binary hashing and quantization) a common strategy in large-scale retrieval systems. To alleviate the reliance on expensive annotations, unsupervised deep hashing becomes an important research problem. This paper provides a novel solution to unsupervised deep quantization, namely Contrastive Quantization with Code Memory (MeCoQ). Different from existing reconstruction-based strategies, we learn unsupervised binary descriptors by contrastive learning, which can better capture discriminative visual semantics. Besides, we uncover that codeword diversity regularization is critical to prevent contrastive learning-based quantization from model degeneration. Moreover, we introduce a novel quantization code memory module that boosts contrastive learning with lower feature drift than conventional feature memories. Extensive experiments on benchmark datasets show that MeCoQ outperforms state-of-the-art methods. Code and configurations are publicly available at https://github.com/gimpong/AAAI22-MeCoQ.

研究の動機と目的

• 再構成に基づく非教師あり深層ハッシングの限界に対処する。この手法は事前学習済みバックボーンに強く依存しており、ターゲットドメインにおける一般化性能が低い。
• 対照学習に基づく量子化における課題、特にサンプリングバイアス、モデルの劣化、小バッチ学習における非効率性を克服する。
• 低ずれコードメモリモジュールの設計により、非教師あり量子化におけるメモリベースの対照学習の効果と効率を向上させる。
• コード語の多様性正則化が、対照的量子化におけるモデル劣化を防ぐために不可欠であることを示す。

提案手法

• MeCoQは、大規模データや複雑な同期処理を必要とせず、小バッチ学習におけるサンプリングバイアスを是正する非バイアス対照学習フレームワークを採用する。
• 量子化コード語間の多様性を明示的に促進するためのコード語多様性正則化項を導入し、表現の崩壊を防止する。
• 量子化コードを保存・再利用する新しい量子化コードメモリを設計し、従来の特徴メモリと比較して特徴のずれを低減する。
• コードメモリにより、時間経過に伴う安定したネガティブサンプリングが可能となり、メモリエンコーダーを用いずとも、限られたバッチサイズでも効果的な対照学習が可能になる。
• 対照損失と量子化損失を同時に最適化し、コードメモリが持続的なネガティブペアを提供することで、表現学習を強化する。

実験結果

リサーチクエスチョン

• RQ1 高価なアノテーションに依存せずに、対照学習を非教師あり深層量子化に効果的に適用できるか？
• RQ2 特にコード語の崩壊に起因するモデル劣化をどのように防止できるか？
• RQ3 量子化コード用のメモリ機構は、特徴メモリを上回る安定性と性能を達成できるか？
• RQ4 コードメモリの使用を遅らせることが、訓練の安定性と最終的な性能向上に寄与するか？

主な発見

• MeCoQは、コード語多様性正則化なしのバージョンと比較して、4つのベンチマークデータセットでそれぞれ25.11、30.34、29.14、25.32の平均MAPポイント向上を達成し、正則化の有効性を実証した。
• コードメモリなしのバージョンと比較して、MeCoQは2.22～2.77ポイントの平均MAP向上を達成し、メモリモジュールの価値を示した。
• ソフトコードメモリは特徴のずれを低減し、特徴メモリおよびハードコードメモリと比較して性能を向上させた。MeCoQは特徴メモリバージョンを0.44～2.52ポイントの平均MAPで上回った。
• 遅延してコードメモリを使用するMeCoQは、0.60～3.36ポイントの平均MAP向上を達成し、早期のメモリ使用が最適でない表現を生じることを示した。
• メモリサイズ896が最良のバランスを達成し、さらに増加させても利得が小さくなることが判明した。これは特徴のずれが原因である。
• MeCoQはバッチサイズを256に増やす（10.9 GB）よりもはるかに少ないGPUメモリ（5.9 GB）で優れた性能を発揮し、その効率性を実証した。