[論文レビュー] CAMP: Cross-Modal Adaptive Message Passing for Text-Image Retrieval

Zihao Wang, Xihui Liu+5 more|arXiv (Cornell University)|Sep 12, 2019

Multimodal Machine Learning Applications参考文献 36被引用数 31

ひとこと要約

CAMPは、クロスモーダルアテンションとアダプティブゲーティングを用いて、画像とテキストの間の細分化された相互作用をモデル化する、テキスト・イメージ検索のためのクロスモーダル適応的メッセージパッシングフレームワークを提案する。モダリティ固有の特徴を文脈に配慮したメッセージと融合し、最も困難なネガティブ例を強調するバイナリクロスエントロピー損失を用いることで、COCOおよびFlickr30kで最先端の性能を達成し、従来の共同埋め込み手法を上回る。

ABSTRACT

Text-image cross-modal retrieval is a challenging task in the field of language and vision. Most previous approaches independently embed images and sentences into a joint embedding space and compare their similarities. However, previous approaches rarely explore the interactions between images and sentences before calculating similarities in the joint space. Intuitively, when matching between images and sentences, human beings would alternatively attend to regions in images and words in sentences, and select the most salient information considering the interaction between both modalities. In this paper, we propose Cross-modal Adaptive Message Passing (CAMP), which adaptively controls the information flow for message passing across modalities. Our approach not only takes comprehensive and fine-grained cross-modal interactions into account, but also properly handles negative pairs and irrelevant information with an adaptive gating scheme. Moreover, instead of conventional joint embedding approaches for text-image matching, we infer the matching score based on the fused features, and propose a hardest negative binary cross-entropy loss for training. Results on COCO and Flickr30k significantly surpass state-of-the-art methods, demonstrating the effectiveness of our approach.

研究の動機と目的

• 従来の手法が画像とテキストを独立して埋め込み、クロスモーダル相互作用をモデル化しないという制限に対処すること。
• 画像領域と語の間で交互にアテンションを許可することで、細分化された相互作用的クロスモーダル推論を可能にすること。
• 適応的ゲーティング機構を用いて、クロスモーダルメッセージパッシング中に不要または一致しない情報を抑制すること。
• 共同埋め込み空間の距離に依存せず、統合された特徴からマッチングスコアを学習することで、マッチング精度を向上させること。
• 一般化を向上させるために、困難なネガティブ例に重点を置いたトレーニング目的関数を設計すること。

提案手法

• CAMPは、画像領域から語へ、および語から画像領域へ顕著な情報を伝達するためのクロスアテンションを用いるクロスモーダルメッセージ集約モジュールを採用する。
• 適応的ゲートを用いて統合強度を制御するクロスモーダルゲーティング統合モジュールを導入し、モダリティの整合性が低い場合には元の特徴を保持する。
• 適応的ゲート機構は、特にネガティブペアにおいて、一致しないまたは不要な特徴の統合を抑制する学習を行う。
• 統合された特徴はアテンションベースのメカニズムを用いて集約され、グローバルな画像および文の表現が生成される。
• マッチングスコアは、統合された特徴上でマルチレイヤーパーセプトロン（MLP）を用いて予測され、共同埋め込み空間における従来のコサイン類似度の代わりに使用される。
• モデルは、困難なネガティブ例に重点を置き、識別性を向上させるために、最も困難なネガティブ例を用いたバイナリクロスエントロピー損失でトレーニングされる。

実験結果

リサーチクエスチョン

• RQ1 モダリティ間で適応的メッセージパッシングを用いることで、テキスト・イメージ検索における細分化された整合性が向上するか？
• RQ2 クロスモーダル相互作用中に、不要または一致しない特徴はどのように抑制できるか？
• RQ3 統合された特徴からマッチングスコアを学習することは、共同埋め込み空間における類似度計算を上回るか？
• RQ4 最も困難なネガティブ例を用いたバイナリクロスエントロピー損失は、ランキング損失と比較して検索性能を向上させるか？
• RQ5 ネガティブペアの処理において、固定統合戦略と比較して、適応的ゲーティングはより効果的か？

主な発見

• CAMPは、COCOおよびFlickr30kベンチマークで、従来の手法を顕著に上回る最先端の性能を達成した。
• アブレーションスタディの結果、適応的ゲーティングやリサイカル接続を削除すると性能が著しく低下し、それらの必要性が裏付けられた。
• ポジティブペアの平均ゲート値は0.971であり、ネガティブペアではほぼゼロ（2.7087×10⁻⁹）であった。これは、一致しない特徴の効果的な抑制を確認するものである。
• アテンションベースの特徴集約を平均プーリングに置き換えると性能が低下し、文脈に配慮した集約の重要性が示された。
• 最も困難なネガティブ例を用いた単純なMLPとバイナリクロスエントロピー損失を用いることで、共同埋め込みとコサイン類似度、およびランキング損失の両方を上回った。これは、提案されたトレーニングスキームの有効性を証明するものである。
• 質的例では、誤ったオブジェクト記述のような微細な不一致を、クロスモーダル相互作用を活用して効果的に同定できた。