[論文レビュー] Efficient Cross-Modal Retrieval via Deep Binary Hashing and Quantization

Yang Shi, Youngjoo Chung|arXiv (Cornell University)|Feb 15, 2022

Advanced Image and Video Retrieval Techniques被引用数 4

ひとこと要約

本稿では、効率的なクロスモodal検索のための深層学習フレームワークHQを提案する。このフレームワークは、二値ハッシュコードと量子化コードを同時に学習する。ハッシュコードを用いたハミング距離による最初の段階での候補フィルタリングと、量子化距離を用いた再ランク付けの二段階検索を採用することで、純粋な量子化手法と比較してO(n)の高速化を達成しながら、最先端のモデルと比較して7%以上の精度向上を実現した。

ABSTRACT

Cross-modal retrieval aims to search for data with similar semantic meanings across different content modalities. However, cross-modal retrieval requires huge amounts of storage and retrieval time since it needs to process data in multiple modalities. Existing works focused on learning single-source compact features such as binary hash codes that preserve similarities between different modalities. In this work, we propose a jointly learned deep hashing and quantization network (HQ) for cross-modal retrieval. We simultaneously learn binary hash codes and quantization codes to preserve semantic information in multiple modalities by an end-to-end deep learning architecture. At the retrieval step, binary hashing is used to retrieve a subset of items from the search space, then quantization is used to re-rank the retrieved items. We theoretically and empirically show that this two-stage retrieval approach provides faster retrieval results while preserving accuracy. Experimental results on the NUS-WIDE, MIR-Flickr, and Amazon datasets demonstrate that HQ achieves boosts of more than 7% in precision compared to supervised neural network-based compact coding models.

研究の動機と目的

• 画像、テキスト、音声などの複数のモダリティにわたるクロスモダリティ検索における高コストなストレージと計算コストを低減すること。
• 二値ハッシング（高速だが精度が低い）と量子化（精度は高いが遅い）の両方の単一コード手法の限界を克服し、両方のコードを同時に学習すること。
• 二値ハッシングによる高速な候補フィルタリングと、量子化による高精度な再ランク付けを組み合わせた二段階検索パイプラインを設計すること。
• 両方のコンactコードのエンドツーエンド学習により、計算コストを削減しつつ優れた検索精度を達成すること。
• 二値コードと量子化コードを同時に学習することで、逐次的または正則化された代替手法よりも性能が向上することを実証すること。

提案手法

• マルチモーダルデータのための二値ハッシュコードと量子化コードを同時に最適化するエンドツーエンドの深層ニューラルネットワークを提案する。
• 最初の段階として、二値コード間のハミング距離を用いて検索空間を著しく削減するフィルタリング処理を実施する。
• 2番目の段階で、量子化距離（例：量子化ベクトルとコードブックエントリ間のL1またはL2ノルム）を用いてフィルタリングされた候補を再ランク付けする。
• 共通の特徴エンコーダーと共通の損失関数を統合し、両方のコードタイプがクロスモダリティの意味的類似性を保持するようにする。
• 学習可能なコードブックを量子化に活用し、各データポイントに対してその最も近い辞書エントリを示す二値コードを割り当てる。
• 類似したサンプルが異なるモダリティ間で同じコードを持つように促進するコントラスト型損失を用いて、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 二値ハッシュコードと量子化コードを同時に学習することで、単独で使用するいずれのコードタイプよりもクロスモダリティ検索の精度が向上するか？
• RQ2 二値ハッシングによるフィルタリングと量子化による再ランク付けを組み合わせた二段階検索パイプラインは、単一段階手法と比較してより優れた速度・精度のトレードオフを達成できるか？
• RQ3 両方のコードを同時に学習することは、逐次的に学習するか、正則化を個別に施す場合と比較してどのように異なるか？
• RQ4 二値ハッシングで取得する候補の数の最適なバランス（α）は何か？
• RQ5 既存の量子化ベースのモデルと比較して、提案されたHQフレームワークは、精度を維持または向上させつつ、どの程度検索時間を短縮できるか？

主な発見

• NUS-WIDE、MIR-Flickr、Amazonのデータセットにおいて、教師ありニューラルネットワークベースのコンパクトコーディングモデルと比較して、HQは平均平均精度（MAP@50）で7%以上の精度向上を達成した。
• 二値ハッシングによるフィルタリングとその後の量子化再ランク付けを組み合わせた二段階検索戦略は、単に二値コードのみを用いる場合や、単に量子化コードのみを用いる場合よりも高い精度を達成した。
• α（二値ハッシングで取得する候補の割合）を0.1〜0.3または0.6〜0.8に設定した場合、精度と速度のバランスが最良の結果を示した。
• HQの検索時間は入力特徴次元数nに線形に比例し、CDQ（量子化のみ）手法と同等のメモリ使用量と精度を維持しながら、O(n)の高速化を達成した。
• 二値コードと量子化コードを同時に学習することは、別々に学習する（例：C+Dモデル）場合よりも優れた性能を示し、両コードタイプ間で情報がより効果的に共有されていることを示した。
• L1またはL2正則化を施した量子化ベースのモデルはHQに劣り、両コードタイプの共同最適化が正則化を代替手段として用いるよりも効果的であることを確認した。