[論文レビュー] Unifying Deep Local and Global Features for Image Search

Bingyi Cao, André Araujo+1 more|arXiv (Cornell University)|Jan 14, 2020

Advanced Image and Video Retrieval Techniques参考文献 64被引用数 34

ひとこと要約

DELGは深層の局所特徴とグローバル特徴を1つのエンドツーエンド訓練可能なモデルに統合し、グローバル特徴にはGeMプーリングを用い、局所特徴選択にはアテンションと自己符号化器ベースの次元削減を組み合わせることで、画像検索とインスタンスレベルの認識において最先端を達成する。

ABSTRACT

Image retrieval is the problem of searching an image database for items that are similar to a query image. To address this task, two main types of image representations have been studied: global and local image features. In this work, our key contribution is to unify global and local features into a single deep model, enabling accurate retrieval with efficient feature extraction. We refer to the new model as DELG, standing for DEep Local and Global features. We leverage lessons from recent feature learning work and propose a model that combines generalized mean pooling for global features and attentive selection for local features. The entire network can be learned end-to-end by carefully balancing the gradient flow between two heads -- requiring only image-level labels. We also introduce an autoencoder-based dimensionality reduction technique for local features, which is integrated into the model, improving training efficiency and matching performance. Comprehensive experiments show that our model achieves state-of-the-art image retrieval on the Revisited Oxford and Paris datasets, and state-of-the-art single-model instance-level recognition on the Google Landmarks dataset v2. Code and models are available at https://github.com/tensorflow/models/tree/master/research/delf .

研究の動機と目的

• 検索の効率と精度のためにグローバルとローカルな画像表現の統合を促進する。
• グローバル記述子、キーポイントアテンション、およびローカル記述子を同時に学習する統一されたCNNベースのモデルを開発する。
• グローバルヘッドとローカルヘッド間の勾配フローを慎重に制御することでパッチレベルの監督を不要にする。
• PCAの後処理を用いずに局所特徴の次元を削減する畳み込みオートエンコーダを導入する。
• Revisited Oxford/Paris および Google Landmarks v2 データセットで最先端の性能を示す。

提案手法

• CNNバックボーンを用いて浅い特徴マップ（S）と深い特徴マップ（D）を生成し、それからグローバル特徴とローカル特徴を導出する。
• グローバル特徴はDに対して一般化平均プーリング（GeM）を適用し、その後学習可能なホワイトニング層を経て2048次元のグローバル記述子を生成する。
• ローカル特徴はSから得られ、1x1の畳み込みオートエンコーダを通してコンパクトな記述子を得る。識別的な領域を選択するアテンションマップMを用いる。
• エンドツーエンドで3つの損失で訓練する。グローバル特徴にはArcFaceベースのコサイン分類器、ローカル特徴にはオートエンコーダ再構成損失、アテンションに基づくソフトマックス損失で識別力のある局所選択を促す。
• 共同訓練中に意味のある局所表現を維持するため、局所アテンションと再構成損失からの勾配がCNNバックボーンへ逆伝播するのを停止する。
• このモデルは画像レベルの監督のみで訓練され、グローバルヘッドとローカルヘッド間の勾配フローをバランスさせて階層的特徴表現の劣化を避ける。
• 任意の2値化バリアント（DELG ⋆）は大規模検索のため局所特徴を2値化形式で格納し、性能のトレードオフを議論する。

実験結果

リサーチクエスチョン

• RQ1 単一のエンドツーエンドモデルは、画像検索のためのグローバル記述子と局所のアテンション重み付き特徴の両方を効果的に学習できるのか。
• RQ2 局所記述子のためのオートエンコーダを統合し、勾配制御を用いることでパッチレベルの監督なしに結合最適化を可能にするのか。
• RQ3 GeMプーリングとArcFace損失が、統一されたDELGモデルにおいて頑健なグローバル特徴としてどのように相互作用するのか。
• RQ4 標準ベンチマーク（Oxford/Paris revisited、GLDv2）におけるエンドツーエンド訓練の検索・認識性能が、専門的な多モデルパイプラインと比較してどのような影響を受けるのか。

主な発見

• DELGは単一の統一モデルでRevisited Oxford、Revisited Paris、および Google Landmarks v2 で最先端の結果を達成する。
• GeMプーリングとArcFace損失の組み合わせはグローバル特徴の性能を向上させ、軽量なオートエンコーダを備えたアテンション誘導のローカル特徴経路は強力なローカル記述子を生み出す。
• 共同訓練 with proper gradient stopping preserves the hierarchical feature representations and yields competitive or superior performance compared to separately trained baselines.
• The unified model outperforms prior methods in both global-only and global-plus-local reranking settings, including large-scale scenarios with 1M distractors.
• A binarized variant (DELG ⋆) offers a memory-efficient option with competitive retrieval accuracy for very large databases.
• Local feature re-ranking using DELG notably boosts performance, especially in large-scale datasets.
• On GLDv2, DELG variants achieve leading mAP and μAP performance, with global-only and combined configurations showing strong results across retrieval and recognition tasks.