[論文レビュー] VisualSparta: Sparse Transformer Fragment-level Matching for Large-scale Text-to-Image Search

Xiaopeng Lu, Tiancheng Zhao+1 more|arXiv (Cornell University)|Jan 1, 2021

Multimodal Machine Learning Applications参考文献 11被引用数 6

ひとこと要約

VisualSpartaは、断片レベルのマッチングと効率的なインverted indexの実装を活用することで、100万枚の画像データセットにおいて標準的なベクトル検索比で391倍以上の高速化を達成し、大規模なテキストから画像への検索において最先端の精度を実現するスパースなTransformerベースのモデルを提案する。この手法は、MSCOCOおよびFlickr30Kで先行するスケーラブルな手法を上回り、大規模データセットでもリアルタイム検索を可能にする。

ABSTRACT

Text-to-image retrieval is an essential task in multi-modal information retrieval, i.e. retrieving relevant images from a large and unlabelled image dataset given textual queries. In this paper, we propose VisualSparta, a novel text-to-image retrieval model that shows substantial improvement over existing models on both accuracy and efficiency. We show that VisualSparta is capable of outperforming all previous scalable methods in MSCOCO and Flickr30K. It also shows substantial retrieving speed advantages, i.e. for an index with 1 million images, VisualSparta gets over 391x speed up compared to standard vector search. Experiments show that this speed advantage even gets bigger for larger datasets because VisualSparta can be efficiently implemented as an inverted index. To the best of our knowledge, VisualSparta is the first transformer-based text-to-image retrieval model that can achieve real-time searching for very large dataset, with significant accuracy improvement compared to previous state-of-the-art methods.

研究の動機と目的

• ラベルなしの画像データセットにおける大規模なテキストから画像への検索の効率性と正確性の課題に取り組む。
• 大規模データセットにおけるベクトル検索の計算ボトルネックを克服し、リアルタイム検索を可能にする。
• 高い効率を維持しながら、既存のスケーラブルな手法と比較して検索精度を向上させる。
• テキストと画像の埋め込みの間で断片レベルのマッチングに特化した、新しいスパースアテンションメカニズムを導入する。
• 産業規模の画像コレクションにおけるリアルタイム検索を実現するため、Transformerベースのモデルの実用的導入を可能にする。

提案手法

• テキストクエリと画像特徴の間で、全体の埋め込みではなく、意味的断片のマッチングに焦点を当てるスパースなTransformerアーキテクチャを採用する。
• 断片レベルのアテンションを用いて関連する視覚的およびテキスト的サブコンponentを特定・整列させ、検索の正確性を向上させる。
• インデックスとして効率的に扱えるようモデルを設計し、大規模なスケールでの高速な検索と照会を可能にする。
• アテンションパターンのスパarsityを活用して計算コストを低減しつつ、表現能力を保持する。
• 100万枚以上の画像を含むデータセットでもリアルタイム推論をサポートできるように、検索パイプラインを最適化する。
• 対照学習の目的関数に基づき、端末から端末まで一貫して、テキストと画像表現を断片レベルで整列させる。

実験結果

リサーチクエスチョン

• RQ1 スパースなTransformerベースのモデルは、大規模なテキストから画像への検索において、高精度とリアルタイム推論速度の両立を達成できるか？
• RQ2 断片レベルのマッチングは、全体の埋め込みマッチングと比較して、検索精度と効率性においてどのように異なるか？
• RQ3 スパarsityとインバーテッドインデックスの組み合わせによって、大規模な画像データセットにおける検索遅延はどの程度低減できるか？
• RQ4 Transformerベースのモデルは、MSCOCOやFlickr30Kといった標準ベンチマークで、以前の最先端手法を精度と速度の両面で上回ることができるか？
• RQ5 データセットサイズが100万枚を超えて増加する際、提案手法のスケーラビリティはどの程度のものか？

主な発見

• VisualSpartaは、MSCOCOおよびFlickr30Kベンチマークで最先端の性能を達成し、すべての従来のスケーラブルな手法を検索精度で上回った。
• 100万枚の画像インデックスにおいて、VisualSpartaは標準的なベクトル検索と比較して391倍以上の高速化を達成し、より大きなデータセットではその利点がさらに増大した。
• 効率的なインバーテッドインデックスの実装のおかげで、非常に大規模なデータセットでもリアルタイムのテキストから画像への検索が可能になった。
• 断片レベルマッチングの活用により、テキストクエリと関連する画像領域との間の整列が著しく向上した。
• モデルの性能向上は、さまざまなデータセットスケールにわたり一貫しており、強力なスケーラビリティを示した。
• VisualSpartaは、大規模データセットにおいて高精度とリアルタイム推論の両方を達成した最初のTransformerベースのテキストから画像への検索モデルである。