[論文レビュー] Matching Images and Text with Multi-modal Tensor Fusion and Re-ranking

Tan Wang, Xing Xu+4 more|arXiv (Cornell University)|Aug 12, 2019

Multimodal Machine Learning Applications参考文献 47被引用数 10

ひとこと要約

本稿では、共通の埋め込み空間を必要とせずに、マルチモーダルテンソルファージョンを用いて画像とテキストの類似性を直接学習する新しい画像・テキストマッチングフレームワーク、MTFN-RRを提案する。その後、クロスモーダル再ランク付けスキームを適用して検索結果を精緻化する。本手法は、従来の手法と比較して著しく短い訓練時間で、MSCOCOおよびFlickr30kで最先端の性能を達成した。

ABSTRACT

A major challenge in matching images and text is that they have intrinsically different data distributions and feature representations. Most existing approaches are based either on embedding or classification, the first one mapping image and text instances into a common embedding space for distance measuring, and the second one regarding image-text matching as a binary classification problem. Neither of these approaches can, however, balance the matching accuracy and model complexity well. We propose a novel framework that achieves remarkable matching performance with acceptable model complexity. Specifically, in the training stage, we propose a novel Multi-modal Tensor Fusion Network (MTFN) to explicitly learn an accurate image-text similarity function with rank-based tensor fusion rather than seeking a common embedding space for each image-text instance. Then, during testing, we deploy a generic Cross-modal Re-ranking (RR) scheme for refinement without requiring additional training procedure. Extensive experiments on two datasets demonstrate that our MTFN-RR consistently achieves the state-of-the-art matching performance with much less time complexity. The implementation code is available at https://github.com/Wangt-CN/MTFN-RR-PyTorch-Code.

研究の動機と目的

• 画像とテキストのデータ分布および特徴表現の本質的な違いにより生じるマッチングの課題に対処すること。
• 従来の埋め込みベースおよび分類ベースの手法が、マッチング精度とモデルの複雑さのバランスをとる上で抱える制限を克服すること。
• テンソルファージョンとクロスモーダル再ランク付けを組み合わせることで、低い計算コストで高い性能を達成するフレームワークを開発すること。
• 再訓練を必要とせずに、効果的かつ効率的なクロスモーダル検索を可能にすること。

提案手法

• マルチモーダルテンソルファージョンネットワーク（MTFN）は、ランク制約付きテンソルファージョンを用い、共通の埋め込み空間を避けてグローバル特徴から直接画像・テキスト類似性を学習する。
• MTFNは、画像・テキスト統合とテキスト・テキスト統合の2つのブランチを採用し、それぞれがモダリティ間の豊かな二重線形相互作用をモデル化するためのテンソルファージョンを適用する。
• 類似度スコアは、統合されたベクトル上で全結合層を用いて予測され、マージンベースのランキング損失により最適化され、正例対と負例対の分離を強化する。
• 推論時に汎用的なクロスモーダル再ランク付け（RR）スキームを適用し、画像・テキストおよびテキスト・テキストの類似度を活用して再訓練なしに検索順位を精緻化する。
• 再ランク付けプロセスでは、k近傍法を用いてクロスモーダル関連性を統合し、I2TおよびT2Iタスクの両方で検索精度を向上させる。
• さらに性能を向上させるためにモデルアンサンブルを適用し、複数のMTFN-RRモデルの平均化により、頑健性と精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 マッチング精度を高く保ちつつモデルの複雑さを低く抑えるフレームワークを設計できるか？
• RQ2 共通の埋め込み空間に依存せずに、テンソルファージョンを効果的に用いて画像・テキスト類似性を学習できるか？
• RQ3 再訓練を必要としない後処理の再ランク付け戦略が、クロスモーダル関連性に基づいて検索性能を向上させられるか？
• RQ4 VSE++、SCAN、RRF-Netなどの最先端手法と比較して、本手法は効率性と精度の両面で優れているか？

主な発見

• MTFN-RRは、MSCOCOおよびFlickr30kの両データセットで最先端の性能を達成し、Flickr30kにおけるMTFN-RR（M=3）ではI2TタスクでR@1が67.7、T2Iタスクで53.2を記録した。
• 本モデルは、グローバル特徴を用いて約9時間の訓練時間でこの性能を達成しており、従来のsm-LSTM（50時間）やSCAN（60時間）と比較して著しく高速である。
• クロスモーダル再ランク付けスキームにより、I2Tタスクで最大2.4ポイント、T2Iタスクで最大1.2ポイントのR@1向上が確認され、あらゆる手法で一貫した向上効果を示した。
• 再ランク付けの性能はK=6近傍で安定化し、K値が小さい場合に劣化が観察されたことから、最適な近傍サイズが存在することが示された。
• モデルアンサンブルによりさらなる性能向上が達成され、MTFN-RR（M=3）はT2Iタスクで最高のSCANアンサンブル（R@1 48.6）を上回る53.2のR@1を達成した。
• 本手法は他の最先端モデル（DAN、VSE++、SCAN）に対しても一般化可能で、一貫した性能向上効果を示した。