[論文レビュー] LightningDOT: Pre-training Visual-Semantic Embeddings for Real-Time Image-Text Retrieval

Siqi Sun, Yen-Chun Chen+4 more|arXiv (Cornell University)|Mar 16, 2021

Multimodal Machine Learning Applications参考文献 50被引用数 6

ひとこと要約

LightningDOTは、事前学習された視覚的・言語的エンコーダーを3つの新規目的（VMLM、SMRM、CMR）で学習することで、計算コストの高いクロスアテンションを効率的なドット積み合わせマッチングに置き換える、高速かつ高精度な画像・テキスト検索手法を提案する。Flickr30k、COCO、Multi30Kベンチマークで最先端の性能を達成するとともに、既存の事前学習モデルと比較して推論を最大23,000倍高速化する。

ABSTRACT

Multimodal pre-training has propelled great advancement in vision-and-language research. These large-scale pre-trained models, although successful, fatefully suffer from slow inference speed due to enormous computation cost mainly from cross-modal attention in Transformer architecture. When applied to real-life applications, such latency and computation demand severely deter the practical use of pre-trained models. In this paper, we study Image-text retrieval (ITR), the most mature scenario of V+L application, which has been widely studied even prior to the emergence of recent pre-trained models. We propose a simple yet highly effective approach, LightningDOT that accelerates the inference time of ITR by thousands of times, without sacrificing accuracy. LightningDOT removes the time-consuming cross-modal attention by pre-training on three novel learning objectives, extracting feature indexes offline, and employing instant dot-product matching with further re-ranking, which significantly speeds up retrieval process. In fact, LightningDOT achieves new state of the art across multiple ITR benchmarks such as Flickr30k, COCO and Multi30K, outperforming existing pre-trained models that consume 1000x magnitude of computational hours. Code and pre-training checkpoints are available at https://github.com/intersun/LightningDOT.

研究の動機と目的

• 大規模な視覚・言語事前学習モデルの高い推論遅延を解消し、リアルタイムでの導入を可能にすること。
• クロスアテンション機構を用いずに、単純なドット積み合わせマッチングが競争力のある性能を達成できるかどうかを検証すること。
• オフラインで学習された視覚的・意味的埋め込みを用いた高速かつキャッシュ可能な検索を可能にする事前学習フレームワークの開発。
• クロスモーダルアテンションを削除しても、新たな事前学習目的を通じて精度を維持または向上させること。
• 推論時に最小限の計算コストで、画像・テキスト検索の分野で新たなSOTAを確立すること。

提案手法

• 推論時にクロスアテンションを回避するため、ライト・ファージョンアプローチを用いて分離された視覚的・言語的エンコーダーを事前学習する。
• 視覚的特徴をテキスト表現学習に組み込むために、視覚的埋め込みを統合したマスクされた言語モデリング（VMLM）を導入する。
• テキストの意味を視覚的表現学習に組み込むために、意味的埋め込みを統合したマスクされた領域モデリング（SMRM）を導入する。
• 画像とテキストの埋め込みを整列させるために、クロスモーダルリトリーブ（CMR）を共同事前学習目的として採用する。
• すべての画像およびテキスト埋め込みをオフラインでキャッシュし、リアルタイム検索には即時のドット積み合わせマッチングを用いる。
• アテンションを削除したことで損なわれた性能を回復させるために、ドット積み合わせの後に軽量な再ランク付けモジュールを適用する。

実験結果

リサーチクエスチョン

• RQ1 推論時にクロスアテンションを使用しないVision-and-Languageモデルが、SOTAの画像・テキスト検索性能を達成できるか？
• RQ2 アテンションを用いずにクロスモーダル情報を統合する事前学習目的でも、強力な視覚的・意味的整列が達成できるか？
• RQ3 VMLM、SMRM、CMRの3つの事前学習タスクを組み合わせることで、検索の精度と効率にどのような影響を与えるか？
• RQ4 オフラインで埋め込みインデックス化し、ドット積み合わせマッチングを用いることで、リアルタイムシステムにおけるアテンションベースの検索をどの程度代替できるか？
• RQ5 英語のキャプションでのみ学習したモデルが、翻訳テスト（translate-test）を用いて多言語検索に効果的に一般化できるか？

主な発見

• LightningDOTは、Flickr30k、COCO、Multi30Kベンチマークで新たなSOTAを達成し、計算時間の1000倍以上を要するモデルを上回る性能を示した。
• COCOでは、再ランク付けを適用した場合、83.7%の平均リcall（AR）を達成し、UNITER（86.6%）を上回った。
• Flickr30kおよびCOCOでは推論速度が600〜1900倍高速化され、より大きな候補プール（120,000枚以上）では最大23,000倍の高速化が達成された。
• 再ランク付け機構により、アテンションを削除したことで生じた性能の損失をほとんど回復させ、COCOでは86.8%のARを達成し、完全なUNITER性能に近く達した。
• 翻訳テスト（translate-test）の条件下でも、LightningDOTはドイツ語、フランス語、チェコ語、日本語、中国語を含む多言語ベンチマークで新たなSOTAを樹立したが、これは英語でのみ学習されたモデルであるにもかかわらずである。
• アブレーションスタディにより、VMLMとSMRMが併用されることで性能が向上することが確認され、CMR単体でもARが+1.4向上し、3つのタスクを併用した場合が最も優れた結果をもたらした。