[論文レビュー] Efficient large-scale image retrieval with deep feature orthogonality and Hybrid-Swin-Transformers

Christof Henkel|arXiv (Cornell University)|Oct 7, 2021

Advanced Image and Video Retrieval Techniques被引用数 5

ひとこと要約

本論文は、大規模な画像検索およびランドマーク認識のためのエンドツーエンドのディーブラーニングパイプラインを提示する。この手法は、局所的特徴とグローバル特徴の深層直交融合（DOLG）と、新規のハイブリッド・スウィン・トランスフォーマー・アーキテクチャを組み合わせたものである。本手法は、動的マージンを用いたサブセンター・アーカイブフェースと、ソフトな判別的リランク戦略を採用し、2021年グーグルランドマークコンペティションの両トラックで優勝を達成し、最先端の性能を実現した。

ABSTRACT

We present an efficient end-to-end pipeline for largescale landmark recognition and retrieval. We show how to combine and enhance concepts from recent research in image retrieval and introduce two architectures especially suited for large-scale landmark identification. A model with deep orthogonal fusion of local and global features (DOLG) using an EfficientNet backbone as well as a novel Hybrid-Swin-Transformer is discussed and details how to train both architectures efficiently using a step-wise approach and a sub-center arcface loss with dynamic margins are provided. Furthermore, we elaborate a novel discriminative re-ranking methodology for image retrieval. The superiority of our approach was demonstrated by winning the recognition and retrieval track of the Google Landmark Competition 2021.

研究の動機と目的

• 大規模なランドマーク認識および検索における、長尾クラス分布、クラス内可変性、ノイズの多いラベルといった課題に対処すること。
• 単一段階モデル内で局所的特徴とグローバル特徴を深層直交融合によって統合することで、特徴表現を向上させること。
• クラスの不均衡をよりよく扱えるように、動的マージンを用いたサブセンター・アーカイブフェースを用いることで、モデルの汎化性能とロバスト性を向上させること。
• クエリ画像とインデックス画像間のラベルの一貫性を活用することで、検索精度を向上させる新しいソフトな判別的リランク戦略を開発すること。
• コードベースのコンペティション環境において、厳密な推論時間およびリソース制約下でも最先端の性能を達成すること。

提案手法

• 拡張畳み込みから得られる1024次元の局所的特徴と、空間自己注意の後に直交融合を経て得られるグローバル特徴を統合するDOLG-EfficientNet-B5アーキテクチャを提案。
• EfficientNetバックボーンとSwin Transformerブロックを組み合わせた、新規のハイブリッド・スウィン・トランスフォーマー・モデルを導入し、局所的およびグローバル特徴の学習を向上。
• 長尾分布およびノイズの多いデータ分布下でも識別性能を向上させるために、動的マージンを用いたサブセンター・アーカイブフェースを採用。
• 8台のV100 GPUを用いた混合精度学習と、データオーグメンテーションとしてalbumentations（シフト、スケーリング、回転、カットアウト）を用いた段階的訓練戦略を実装。
• ソフトな判別的リランク手順を適用：マッチングラベルのためのトレーニングセットの上位3つのコサイン類似度を加算（アップランク）、非マッチングラベルのためには0.1×上位3類似度を減算（ダウンランク）。
• 8つのモデル（DOLG、ハイブリッド・スウィン、純粋なEfficientNet）の予測を、各モデルタイプごとに特徴量を平均化し、連結することで1536次元のベクトルを形成し、最終的な推論に用いる。

実験結果

リサーチクエスチョン

• RQ1 クラスの不均衡やクラス内可変性が生じる大規模ランドマーク検索において、局所的特徴とグローバル特徴の深層直交融合が性能向上に寄与するか？
• RQ2 提案されたハイブリッド・スウィン・トランスフォーマー・アーキテクチャは、CNNとトランスフォーマーの長所を組み合わせることでランドマーク認識にどの程度有効か？
• RQ3 GLDv2のような長尾でノイズの多いデータセットにおいて、動的マージンを用いたサブセンター・アーカイブフェースは、標準的なアーカイブフェースを上回る性能を示すか？
• RQ4 ハードなしきい値に依存しないソフトな判別的リランク戦略は、検索タスクにおけるmAPを顕著に向上させることができるか？
• RQ5 大規模なインスタンスレベル認識において、単一段階のエンドツーエンドモデルは、二段階パイプラインを上回る性能を発揮できるか、その程度はいかに？

主な発見

• DOLG-EfficientNet-B5モデルは、検索トラックでプライベートmAP 0.478、パブリックmAP 0.464を達成し、アンサンブル内でも他のモデルを上回った。
• ハイブリッド・スウィン・トランスフォーマー・モデル（EfficientNet-B6-Swin-Base-384）は、プライベートmAP 0.487、パブリックmAP 0.462を記録し、ハイブリッドCNN-Transformer設計の有効性を示した。
• 最終的なアンサンブルモデルは、検索トラックでプライベートmAP 0.537、パブリックmAP 0.518を達成し、コンペティションで1位を獲得した。
• 認識アンサンブルは、プライベートGAP 0.513、パブリックGAP 0.534を記録し、認識トラックで1位となった。
• ソフトな判別的リランク戦略は、ラベルの一貫性を強化し、誤検出を低減することで、検索性能を顕著に向上させた。
• サブセンター・アーカイブフェースに動的マージンを組み合わせた深層直交融合の組み合わせにより、ノイズが多く長尾なデータでも一般化性能が向上した。