[論文レビュー] Improving Cross-Modal Retrieval with Set of Diverse Embeddings

Dong-Won Kim, Namyup Kim+1 more|arXiv (Cornell University)|Nov 30, 2022

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本稿では、意味的曖昧性を多様な埋め込みの集合によってモデル化することで、クロスモodalな画像・テキスト検索のパフォーマンスを向上させる、新しいセットベースの埋め込みフレームワークを提案する。スムーズ・チャームファ相似度を導入して、疎な監視やセットの収縮といった訓練上の問題を軽減し、スロットアテンションに基づくセット予測モジュールを採用して、分離され、意味的に明確な埋め込みを生成する。COCOおよびFlickr30Kで先行手法を上回り、推論コストも低く抑えられる。

ABSTRACT

Cross-modal retrieval across image and text modalities is a challenging task due to its inherent ambiguity: An image often exhibits various situations, and a caption can be coupled with diverse images. Set-based embedding has been studied as a solution to this problem. It seeks to encode a sample into a set of different embedding vectors that capture different semantics of the sample. In this paper, we present a novel set-based embedding method, which is distinct from previous work in two aspects. First, we present a new similarity function called smooth-Chamfer similarity, which is designed to alleviate the side effects of existing similarity functions for set-based embedding. Second, we propose a novel set prediction module to produce a set of embedding vectors that effectively captures diverse semantics of input by the slot attention mechanism. Our method is evaluated on the COCO and Flickr30K datasets across different visual backbones, where it outperforms existing methods including ones that demand substantially larger computation at inference.

研究の動機と目的

• 画像とキャプションが複数の妥当な解釈をもつというクロスモダルドメイン検索における本質的な曖昧性に対処すること。
• 最適でない類似度関数に起因する、疎な監視やセットの収縮といった、既存のセットベースの埋め込み手法の限界を克服すること。
• 競合的なアテンションメカニズムを活用して、分離され、多様な埋め込みを生成するセット予測モジュールを設計すること。
• 事前計算された埋め込みを用いて効率的な検索を可能にすると同時に、意味的曖昧性の改善モデル化により高い精度を維持すること。
• 推論時に高コストを要しない状態で、COCOおよびFlickr30KベンチマークでSOTAのパフォーマンスを達成すること。

提案手法

• 微分可能でセットの順序に頑健な、新しい類似度関数「スムーズ・チャームファ相似度」を提案し、疎な監視やセットの収縮といった副作用を低減する。
• 学習可能な要素スロットが入力画像およびテキストから異なる意味的特徴に段階的にアテンションし、集約する、スロットアテンションに基づくセット予測モジュールを設計する。
• 複数の集約ブロックによる段階的精錬により、セット要素間の分離を強化し、意味的多様性を向上させる。
• スムーズ・チャームファ相似度に基づく対照的損失を用いて訓練し、一致する画像・テキストペアを整列させると同時に、埋め込みセット内の多様性を促進する。
• 二重エンコーダー構造にセット予測モジュールを統合し、画像とテキストを別々にエンコードし、セットベースの出力を得ることで、効率的な検索を実現する。
• 温度スケーリングとハイパーパramータチューニング（K, T, α）を適用し、セットの基数、反復回数、類似度感受性を最適化する。

Figure 1 : An example of the ambiguity problem introduced in the cross-modal retrieval task; an image region and a word corresponding to each other are highlighted in the same color. This example demonstrates that a single image can be coupled with multiple heterogeneous captions.

実験結果

リサーチクエスチョン

• RQ1 セットベースの埋め込みの類似度関数をどのように改善すれば、疎な監視やセットの収縮といった訓練上の副作用を低減できるか？
• RQ2 スロットアテンションに基づくセット予測モジュールは、画像やキャプションの複数の意味的側面を捉える多様で分離された埋め込みを効果的に生成できるか？
• RQ3 意味的曖昧性を埋め込みの集合によってモデル化することで、単一埋め込みベースラインと比較して、クロスモダルドメイン検索の精度がどの程度向上するか？
• RQ4 提案手法は、既存のSOTA手法を上回るパフォーマンスを達成するか、同時に推論コストを低く保っているか？
• RQ5 埋め込みセットの個々の要素は検索パフォーマンスにどのように寄与しているか？また、それらの集合的利用はどのような役割を果たしているか？

主な発見

• Flickr30Kデータセットにおいて、提案手法は平均Recall@1 (RSUM) 500.8を達成し、以前のSOTA手法（PIE-Net）を17.5ポイント上回った。
• COCOでは、モデルがRSUM 499.6を達成し、以前のSOTA（PIE-Net）を16.3ポイント上回った。
• アブレーションスタディの結果、埋め込みセットの1つの要素のみを用いると性能が著しく低下し、特に2番目の視覚スロットのみを用いた場合（RSUM = 309.6）が最も悪化した。これは、曖昧な意味的特徴を捉えるためにそのスロットが果たす役割を示している。
• 異なる視覚バックボーンやハイパーパramータ設定においても、モデルは高いパフォーマンスを維持しており、K > 3、T > 2、α > 4の条件下で最適な性能を発揮した。
• スムーズ・チャームファ相似度関数は、セットの収縮や疎な監視を効果的に低減しており、埋め込みセットの分散が低く抑えられ、一貫したパフォーマンス向上が確認された。
• スロットアテンションに基づくセット予測モジュールは、多様で重複のない埋め込みを効果的に生成しており、評価時に全要素を併用した場合のパフォーマンス向上からその有効性が示された。

Figure 2 : An overview of our model. (a) The overall framework of our model. The model consists of three parts: visual feature extractor, textual feature extractor, and set-prediction modules $f^{\mathcal{V}}$ and $f^{\mathcal{T}}$ . First, the feature extractors of each modality extract local and g