[論文レビュー] Cross Modal Retrieval with Querybank Normalisation

Simion-Vlad Bogolin, Ioana Croitoru+3 more|arXiv (Cornell University)|Dec 23, 2021

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、ギャラリー埋め込みのクエリバンクを用いてクエリ-ギャラリー類似度を再正規化することで、クロスモodal検索におけるハブネス問題を軽減する非パrametricフレームワーク、Querybank Normalisation (QB-Norm) を提案する。動的逆ソフトマックス（DIS）を導入し、類似度正規化のロバスト性を向上させ、再トレーニングや同時にテストされるクエリの必要がないまま、複数のモデルやベンチマークで最先端の性能を達成している。

ABSTRACT

Profiting from large-scale training datasets, advances in neural architecture design and efficient inference, joint embeddings have become the dominant approach for tackling cross-modal retrieval. In this work we first show that, despite their effectiveness, state-of-the-art joint embeddings suffer significantly from the longstanding "hubness problem" in which a small number of gallery embeddings form the nearest neighbours of many queries. Drawing inspiration from the NLP literature, we formulate a simple but effective framework called Querybank Normalisation (QB-Norm) that re-normalises query similarities to account for hubs in the embedding space. QB-Norm improves retrieval performance without requiring retraining. Differently from prior work, we show that QB-Norm works effectively without concurrent access to any test set queries. Within the QB-Norm framework, we also propose a novel similarity normalisation method, the Dynamic Inverted Softmax, that is significantly more robust than existing approaches. We showcase QB-Norm across a range of cross modal retrieval models and benchmarks where it consistently enhances strong baselines beyond the state of the art. Code is available at https://vladbogo.github.io/QB-Norm/.

研究の動機と目的

• クロスモダリティ検索に用いられる高次元の共同埋め込みにおける、長年のハブネス問題に対処すること。
• モデルのファインチューニングや再トレーニングを必要としない検索フレームワークの開発。
• 同時に複数のテストクエリが利用できない状況下でも、推論時に効果的なハブネス低減を可能にすること。
• クエリバンク選択に敏感でない、ロバストな類似度正規化手法の設計。
• 異なるモデル、モダリティ、ベンチマークにわたる一般化の検証。

提案手法

• QB-Normは、ギャラリー埋め込みのクエリバンクを用いて、クエリとギャラリーの類似度スコアを再正規化することで、ハブノードの影響を低減する。
• クエリバンクは推論時にギャラリー埋め込みから構築され、再トレーニングなしにハブネス補正が可能になる。
• 動的逆ソフトマックス（DIS）は、ハブ頻度に基づいて類似度スコアを適応的に調整する新しい正規化メカニズムとして導入された。
• DISは逆温度パラメータを用いてソフトニングの度合いを制御し、最適な性能がβ=20で観察された。
• フレームワークは推論後に適用されるため、あらゆる事前学習済みクロスモダリティ埋め込みモデルと互換性がある。
• QB-Normは類似度スコアのみを処理するため、アーキテクチャの変更や追加学習を必要としない。

Figure 1 : Left: The hubness problem. We consider the problem of cross modal retrieval in which queries $q_{1}$ and $q_{2}$ are compared against a gallery of samples, $x_{1}$ and $x_{2}$ . As we show in Sec. 3.2 , the high-dimensional joint embeddings employed by modern methods for cross-modal retri

実験結果

リサーチクエスチョン

• RQ1 再トレーニングが不要な現代のクロスモダリティ検索システムにおいて、ハブネスを効果的に軽減できるか？
• RQ2 推論時に1つのテストクエリしか利用できない場合でも、QB-Normは有効に機能するか？
• RQ3 クエリバンク選択に頑健で、多様なモデルで性能を向上させる類似度正規化手法を設計できるか？
• RQ4 QB-Normは、既存のハブネス低減技術と比較して、性能とロバスト性の面で優れているか？
• RQ5 QB-Normは、異なるモダリティや検索ベンチマークに一般化することができるか？

主な発見

• TT-CE+にQB-Normを適用した場合、MSR-VTT v2t検索タスクでR@1が24.6%から30.1%へ5.9%の絶対的向上を達成した。
• 同じベンチマークで、R@5は54.1%から61.4%へ、R@10は67.5%から73.2%へ上昇した。
• 本手法は、テキスト-ビデオ、テキスト-画像、音声-テキストの検索タスクにおいて、一貫して検索性能を向上させた。
• より大きなクエリバンクで性能が飽和し、あるサイズを超えると収益が減少する傾向が示された。
• 動的逆ソフトマックス（DIS）は、先行する正規化手法を上回り、クエリバンク選択に対して頑健であり、特定のバンクで性能低下を回避した。
• QB-Normは、推論時に1つのクエリしか利用できない場合でも、効果を維持する。これは、従来の手法が複数のクエリを必要としていたのとは対照的である。

Figure 2 : Hubness is pervasive in leading methods for text-video retrieval . The charts depict the distribution of the number of times each gallery video was retrieved by test set queries (x-axes video ids are ordered by decreasing retrieval count). Top row (different models): We report retrieval d