[論文レビュー] Contextual Similarity Aggregation with Self-attention for Visual Re-ranking

Jianbo Ouyang, Hui Wu+3 more|arXiv (Cornell University)|Oct 26, 2021

Advanced Image and Video Retrieval Techniques被引用数 4

ひとこと要約

本論文は、上位ランクの画像同士の文脈的類似性を集約することで、インスタンス画像検索の性能を向上させる自己注意型視覚的再ランク付け手法を提案する。上位-Lのアンカーアイテムとの類似性に基づいてアフィニティ特徴を構築し、トランスフォーマー・エンコーダーを用いて画像間の文脈を捉えることで特徴を精緻化し、精緻化された特徴を用いて候補を再ランク付けする。4つのベンチマークで最先端の性能を達成し、計算コストの増加が最小限に抑えられる。

ABSTRACT

In content-based image retrieval, the first-round retrieval result by simple visual feature comparison may be unsatisfactory, which can be refined by visual re-ranking techniques. In image retrieval, it is observed that the contextual similarity among the top-ranked images is an important clue to distinguish the semantic relevance. Inspired by this observation, in this paper, we propose a visual re-ranking method by contextual similarity aggregation with self-attention. In our approach, for each image in the top-K ranking list, we represent it into an affinity feature vector by comparing it with a set of anchor images. Then, the affinity features of the top-K images are refined by aggregating the contextual information with a transformer encoder. Finally, the affinity features are used to recalculate the similarity scores between the query and the top-K images for re-ranking of the latter. To further improve the robustness of our re-ranking model and enhance the performance of our method, a new data augmentation scheme is designed. Since our re-ranking model is not directly involved with the visual feature used in the initial retrieval, it is ready to be applied to retrieval result lists obtained from various retrieval algorithms. We conduct comprehensive experiments on four benchmark datasets to demonstrate the generality and effectiveness of our proposed visual re-ranking method.

研究の動機と目的

• 上位ランクの画像同士の文脈的類似性を活用することで、ペairwise類似性に基づく再ランク付けでしばしば無視されるインスタンス画像検索の性能を向上させること。
• 元の視覚的特徴抽出パイプラインに依存しない再ランク付け手法を開発することで、多様な検索アルゴリズムと互換性を持つこと。
• 再ランク付けタスク用の新しいデータ拡張戦略を導入することで、モデルのロバストネスと汎化性能を向上させること。
• データベース全体の処理を回避し、上位-Kの検索リストのサイズにのみスケーリングすることで、計算コストを低く抑えつつ高い性能を達成すること。

提案手法

• 上位-Kの各画像に対して、上位-Lの結果から選択されたL個のアンカーアイテムとの類似度を測定することで、アフィニティ特徴を計算する。
• トランスフォーマー・エンコーダーが他の上位-Kの候補を注目することで、アフィニティ特徴間の類似性に基づいた文脈的関係をモデル化し、アフィニティ特徴を動的に精緻化する。
• 類似する画像間の類似度を高めるための対照的損失と、元のアフィニティ特徴を保持するためのMSE損失を用いてモデルを訓練し、過学習を防ぐ。
• 訓練中に過学習を低減し、モデルの汎化性能を向上させるための新しいデータ拡張戦略を導入する。
• 推論時、精緻化されたアフィニティ特徴を用いて、クエリと上位-Kの候補間のコサイン類似度スコアを再計算し、最終的なランク付けを行う。
• 初期の検索特徴に依存しないため、あらゆる検索パイプラインにプラグアンドプレイで統合可能である。

実験結果

リサーチクエスチョン

• RQ1 上位ランクの画像同士の文脈的類似性をモデル化することで、ペアワイズ類似性を上回る視覚的再ランク付けの性能向上が可能か？
• RQ2 自己注意メカニズムは、複数の上位ランク画像から得られる文脈的情報を効果的に集約し、再ランク付けスコアを精緻化できるか？
• RQ3 初期特徴抽出手法に依存しない再ランク付けモデルを設計できるか、かつ高い性能を維持できるか？
• RQ4 新しいデータ拡張戦略は、再ランク付けモデルのロバストネスと汎化性能にどのような影響を与えるか？
• RQ5 大規模データベースにおいて、既存の再ランク付けアプローチと比較して、本手法の効率性とスケーラビリティはどのように異なるか？

主な発見

• 提案手法は4つのベンチマークデータセットで最先端の性能を達成し、LAttQE、DFS、GSSを含む既存の再ランク付け手法をほとんどの設定で上回った。
• 最先端のクエリ拡張ベース手法LAttQEよりも高い性能を達成した。これは、文脈的類似性の集約の有効性を示している。
• DFS や GSS と組み合わせることで、提案手法の再ランク付けによりさらなる検索性能の向上が得られ、強力な相互補完性と互換性があることが示された。
• データ拡張を適用したモデルは、それを行わないベースラインより高い性能を示し、提案された拡張戦略の有効性を確認した。
• DFS や GSS といった最先端の手法よりも時間的・メモリ的複雑度が低く、遅延はデータベースサイズに依存せず、上位-Kのリストサイズにのみスケーリングされる。