[論文レビュー] HiVLP: Hierarchical Vision-Language Pre-Training for Fast Image-Text Retrieval

Feilong Chen, Xiuyi Chen+4 more|arXiv (Cornell University)|May 24, 2022

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

HiVLPは、粗い検索に低次元特徴を、鋭い検索に高次元特徴を活用することで、融合型モデル（例: UNITER）と比較して最大120,649倍の高速化を達成しながらも、競争力ある精度を維持し、検索性能においてさえ最先端モデルを上回る、高速な画像・テキスト検索のための階層的ビジョン・ランゲージ事前学習フレームワークを提案する。

ABSTRACT

In the past few years, the emergence of vision-language pre-training (VLP) has brought cross-modal retrieval to a new era. However, due to the latency and computation demand, it is commonly challenging to apply VLP in a real-time online retrieval system. To alleviate the defect, this paper proposes a extbf{Hi}erarchical extbf{V}ision- extbf{}Language extbf{P}re-Training ( extbf{HiVLP}) for fast Image-Text Retrieval (ITR). Specifically, we design a novel hierarchical retrieval objective, which uses the representation of different dimensions for coarse-to-fine ITR, i.e., using low-dimensional representation for large-scale coarse retrieval and high-dimensional representation for small-scale fine retrieval. We evaluate our proposed HiVLP on two popular image-text retrieval benchmarks, i.e., Flickr30k and COCO. Extensive experiments demonstrate that our HiVLP not only has fast inference speed but also can be easily scaled to large-scale ITR scenarios. The detailed results show that HiVLP is $1,427$$\sim$$120,649 imes$ faster than the fusion-based model UNITER and 2$\sim$5 faster than the fastest embedding-based model LightingDot in different candidate scenarios. It also achieves about +4.9 AR on COCO and +3.8 AR on Flickr30K than LightingDot and achieves comparable performance with the state-of-the-art (SOTA) fusion-based model METER.

研究の動機と目的

• リアルタイムの画像・テキスト検索システムにおける融合型ビジョン・ランゲージモデルの高遅延を解消すること。
• 埋め込みベースのモデルにおける膨大な候補プールに対するドット積マッチングの計算ボトルネックを克服すること。
• 階層的特徴表現を用いた粗い検索から鋭い検索へのパイプラインを導入することで、効率的でスケーラブルな検索を実現すること。
• 多段階特徴抽出を活用して、推論時間を大幅に短縮しながらも高い検索精度を維持すること。
• 言語的表現、ビジョン・ランゲージマッチング、階層的検索アライメントを同時に最適化する訓練フレームワークを設計すること。

提案手法

• 同じ視覚的・テキスト的エンコーダーから、段階的に次元が上昇する特徴を抽出可能な中間トランスフォーマー層に「イ早出力層（EOL）」を導入する。
• 低次元のEOL出力を用いて大規模な候補集合に対して高速で粗い検索を実行し、その後に高次元の出力を用いて絞り込まれた集合に対して高精度な鋭い検索を実施する。
• 言語的表現モデリング（LRM）、ビジョン・ランゲージマッチング（VLM）、階層的検索学習（HRL）という3つの目的関数を用いてモデルを訓練し、多段階の特徴をアライメントする。
• 候補の事前エンコーディングとオンラインでのクエリ処理を分離することで、並列処理を可能にし、エンドツーエンドの遅延を低減する。
• 共通のアーキテクチャを有する事前学習済みのビジョン・ランゲージトランスフォーマーを活用し、全レベルで表現品質を維持する。
• Grad-CAMの可視化を適用して、テキストトークンと関連する視覚的領域との間の注目度の整合性を検証し、マルチモーダルなアライメントが適切に学習されていることを確認する。

実験結果

リサーチクエスチョン

• RQ1 階層的表現戦略を用いることで、精度を損なわずに画像・テキスト検索を顕著に高速化できるか？
• RQ2 単一レベルの埋め込みと比較して、多段階特徴抽出は速度と検索パフォーマンスにおいてどのように異なるか？
• RQ3 10万枚以上の画像を含む大規模な候補プールにおいて、提案されたHiVLPフレームワークはどれほどスケーラブルに低遅延を維持できるか？
• RQ4 トランスフォーマー・エンコーダーに早期出力層を統合することで、最小限の性能劣化で効果的な粗い検索から鋭い検索へのパイプラインが実現可能か？
• RQ5 標準ベンチマークにおいて、HiVLPは最先端の融合型および埋め込みベースのモデルと比較して、速度と精度の両面で優れているか？

主な発見

• COCO-fullベンチマーク（123,287枚の画像）において、HiVLPは融合型モデルであるUNITERと比較して最大120,649倍の高速化を達成した。
• Flickr30k-fullベンチマークにおいて、HiVLPはUNITERと比較して36,051倍の高速化を達成し、大規模な検索シナリオにおけるスケーラビリティを示した。
• Flickr30kではLightingDotという最も高速な埋め込みベースモデルと比較して2.23倍高速であり、COCOでは候補数が5倍多い状況でも3.33倍高速であった。
• COCOではLightingDotと比較して平均リCALL（AR）で+4.9%、Flickr30kでは+3.8%の向上を示し、より高速であるにもかかわらず優れた精度を実現した。
• アブレーションスタディの結果、多段階EOL出力による階層的検索が、画像→テキストおよびテキスト→画像の両タスクにおいて、検索パフォーマンスを顕著に向上させることを確認した。
• 定性的な結果から、Grad-CAMの注目マップが関連する視覚的領域とよく一致しており、階層的フレームワークにおける有効なマルチモーダル注目学習が実現していることが確認された。