[論文レビュー] DALG: Deep Attentive Local and Global Modeling for Image Retrieval

Yuxin Song, Ruolin Zhu+2 more|arXiv (Cornell University)|Jul 1, 2022

Advanced Image and Video Retrieval Techniques被引用数 7

ひとこと要約

本稿では、グローバル特徴抽出にスウィントランスフォーマーを、局所特徴抽出にウィンドウベースのマルチヘッド自己注意機構と空間的注意機構を用いることで、マルチスケールテストの代わりにシングルスケール推論を可能にする、完全に自己注意に基づいたワンステージ画像検索フレームワークであるDALGを提案する。階層的特徴統合のために学習可能なクロス注意モジュールを導入し、マルチスケールテストの必要性を排除することで、顕著に向上した推論効率と最先端の精度を達成する。

ABSTRACT

Deeply learned representations have achieved superior image retrieval performance in a retrieve-then-rerank manner. Recent state-of-the-art single stage model, which heuristically fuses local and global features, achieves promising trade-off between efficiency and effectiveness. However, we notice that efficiency of existing solutions is still restricted because of their multi-scale inference paradigm. In this paper, we follow the single stage art and obtain further complexity-effectiveness balance by successfully getting rid of multi-scale testing. To achieve this goal, we abandon the widely-used convolution network giving its limitation in exploring diverse visual patterns, and resort to fully attention based framework for robust representation learning motivated by the success of Transformer. Besides applying Transformer for global feature extraction, we devise a local branch composed of window-based multi-head attention and spatial attention to fully exploit local image patterns. Furthermore, we propose to combine the hierarchical local and global features via a cross-attention module, instead of using heuristically fusion as previous art does. With our Deep Attentive Local and Global modeling framework (DALG), extensive experimental results show that efficiency can be significantly improved while maintaining competitive results with the state of the arts.

研究の動機と目的

• マルチスケールテストに依存することで性能を安定化させる既存の画像検索手法の非効率性を解消すること。
• 畳み込みネットワークの代わりに完全に自己注意に基づいたアーキテクチャを採用することで、ワンステージ画像検索における有効性と効率性のトレードオフを改善すること。
• ウィンドウベースの自己注意機構と空間的注意機構を用いて多様な視覚的パターンを捉える、新しい局所特徴抽出ブランチを設計すること。
• ヒューリスティックな特徴統合戦略の代わりに、学習可能なクロス注意メカニズムを用いて局所特徴とグローバル特徴の統合をより効果的に行うこと。
• マルチスケール入力を必要とせず、シングルスケール入力でのみ高精度な画像検索を実現することで、計算複雑性を低減すること。

提案手法

• グローバル特徴抽出に、階層的かつ局所的自己注意構造を有するスウィントランスフォーマーをバックボーンとして採用する。
• 重複領域を考慮したウィンドウベースのマルチヘッド自己注意機構と空間的注意機構を備えた局所ブランチを導入し、局所的視覚パターンをモデル化する。
• 重要な境界情報を保持し、局所特徴表現を向上させるために、重複ウィンドウ分割戦略を採用する。
• 手動で設計された直交統合の代わりに、学習可能なクロス注意モジュールを用いて局所特徴とグローバル特徴を段階的に統合する。
• 特定の特徴段階でバックプロパゲーションを停止することで、グローバルブランチと局所ブランチの最適化を分離する勾配停止訓練戦略を実装する。
• グローバル特徴にはArcFace損失、局所特徴には補助的な交差エントロピー損失を適用し、中間層で勾配を停止させることで、独立した学習を促進する。

実験結果

リサーチクエスチョン

• RQ1 完全に自己注意に基づくモデルは、マルチスケールテストを排除しつつも、高い精度を維持できるか？
• RQ2 ウィンドウベースのマルチヘッド自己注意機構は、画像検索における局所特徴抽出において、フル特徴マップ自己注意機構よりも優れているか？
• RQ3 学習可能なクロス注意統合は、局所特徴とグローバル特徴の統合において、手動で設計された直交統合を上回るか？
• RQ4 勾配停止戦略は、共同学習設定下での局所特徴とグローバル特徴学習のパフォーマンスにどのような影響を与えるか？
• RQ5 自己注意に基づく局所ブランチは、標準的な畳み込み演算と比較して、多様な視覚的パターンを効果的にモデル化できるか？

主な発見

• 重複ウィンドウベースのマルチヘッド自己注意（O-Win-MSA）は、非重複およびフル特徴マップ自己注意を上回り、Roxf-Mでは78.01 mAP、Rpar-Mでは88.97 mAPを達成した。
• 学習可能なクロス注意統合手法は、直交統合と比較して、Roxf-Mでは1.13ポイント、Rpar-Mでは0.12ポイントのmAP向上を達成した。
• スウィントランスフォーマーの2番目の段階および局所特徴ヘッドでバックプロパゲーションを停止させた場合、Roxf-MとRpar-Mでそれぞれ78.01および88.97のmAPを達成し、最良の性能を示した。
• アブレーションスタディの結果、勾配停止は特徴学習の独立性を高め、完全なバックプロパゲーションと比較して1.5～2.0 mAPポイントの性能向上を確認した。
• マルチスケールテストを排除することで、顕著に推論複雑性が低減した一方で、競争力のあるmAPスコアを達成した。
• シングルスケール推論でGoogle Landmark v2、Rparis、Roxfordの各データセットで最先端のパフォーマンスを達成した。