[論文レビュー] Learning Two-Branch Neural Networks for Image-Text Matching Tasks

Liwei Wang, Yin Li+2 more|arXiv (Cornell University)|Apr 11, 2017

Multimodal Machine Learning Applications参考文献 50被引用数 19

ひとこと要約

本稿では、画像・テキストマッチングタスク向けに2つの2ブランチニューラルネットワークアーキテクチャ—埋め込みネットワークと類似度ネットワーク—を提案する。埋め込みネットワークは最大マージン順序付けと改善された近傍サンプリングを用いて共有潜在空間を学習する。類似度ネットワークは要素ごとの積による統合を経て、類似度スコアを直接回帰する。両モデルとも、フレーズ局所化（Flickr30K Entities）および双方向的画像文検索（Flickr30K、MSCOCO）で最先端の性能を達成する。

ABSTRACT

Image-language matching tasks have recently attracted a lot of attention in the computer vision field. These tasks include image-sentence matching, i.e., given an image query, retrieving relevant sentences and vice versa, and region-phrase matching or visual grounding, i.e., matching a phrase to relevant regions. This paper investigates two-branch neural networks for learning the similarity between these two data modalities. We propose two network structures that produce different output representations. The first one, referred to as an embedding network, learns an explicit shared latent embedding space with a maximum-margin ranking loss and novel neighborhood constraints. Compared to standard triplet sampling, we perform improved neighborhood sampling that takes neighborhood information into consideration while constructing mini-batches. The second network structure, referred to as a similarity network, fuses the two branches via element-wise product and is trained with regression loss to directly predict a similarity score. Extensive experiments show that our networks achieve high accuracies for phrase localization on the Flickr30K Entities dataset and for bi-directional image-sentence retrieval on Flickr30K and MSCOCO datasets.

研究の動機と目的

• クロスモodal検索タスクにおける画像とテキストモダリティ間の意味的類似度を測定する課題に対処すること。
• 画像とテキスト特徴を対称的に共有空間にマップするニューラルアーキテクチャを設計し、共同学習を可能にすること。
• 埋め込みネットワークにおける新しい近傍に配慮したトリプレットサンプリングにより、学習効率と性能を向上させること。
• 共有埋め込み学習の代替手段として、要素ごとの統合による直接的な類似度予測を検討すること。
• グローバルな画像文マッチングとローカルな領域フレーズマッチングを組み合わせることで、視覚的グランドイングの性能向上が可能かどうかを評価すること。

提案手法

• 埋め込みネットワークは、画像とテキスト特徴のそれぞれに独立したブランチを設け、全結合ReLU層を経てL2正規化を行うことで、入力を共有潜在空間にマップする。
• 最大マージン目的関数を用いたトリプレット順序付け損失を適用し、一致するペア（画像領域とフレーズ）を引き寄せ、不一致ペアを遠ざける。
• 標準的なトリプレットサンプリングに比べて、近傍情報を組み込んだ改善されたミニバッチサンプリング戦略を導入し、学習の安定性と性能を向上させる。
• 類似度ネットワークは、正規化された画像とテキスト特徴の要素ごとの積を計算し、その後に追加の全結合層を経て、類似度スコアを直接予測する。
• このネットワークは、バイナリラベル（+1：正例ペア、-1：負例ペア）を用いたロジスティック回帰損失で訓練される。
• モデルは、mAPとR@1といった標準指標を用いて、Flickr30K Entities（フレーズ局所化）、Flickr30K、MSCOCO（画像文検索）で評価される。

実験結果

リサーチクエスチョン

• RQ1 共有潜在空間学習を用いた2ブランチニューラルネットワークは、従来の手法を上回る性能を達成できるか？
• RQ2 埋め込みネットワークにおける近傍に配慮したトリプレットサンプリングは、標準的なサンプリングに比べて性能をどのように向上させるか？
• RQ3 要素ごとの統合による直接的な類似度予測ネットワークは、明示的な埋め込み空間学習なしに競争力のある性能を達成できるか？
• RQ4 類似度ネットワークはフレーズ局所化では成功しているが、なぜ画像文検索では失敗するのか？
• RQ5 グローバルな画像文マッチングとローカルな領域フレーズマッチングを組み合わせることで、視覚的グランドイングの性能に顕著な向上が得られるか？

主な発見

• 埋め込みネットワークは、Flickr30K Entitiesデータセットにおいて76.4%のmAPを達成し、フレーズ局所化タスクで最先端の性能を示した。
• 類似度ネットワークはフレーズ局所化で優れた結果（74.1% mAP）を達成したが、画像文検索では失敗しており、タスク固有の制限が示された。
• ミニバッチ内での近傍情報の統合による改善されたサンプリング戦略は、損失関数を変更せずに埋め込みネットワークの性能を顕著に向上させた。
• 画像文スコアと領域フレーズスコアの重み付き平均を用いた統合モデルは、わずかな向上（例：0.5% mAPの上昇）にとどまり、モダリティ間の一貫性が低いことが示唆された。
• 同じ画像内に複数のフレーズがある場合や、異なる画像間で順序付けを行う際、領域フレーズモデルのスコアは一貫性に欠け、一般のフレーズ検出器としての利用には制限がある。
• 画像文ネットワークと領域フレーズネットワークの共同学習は良好な結果をもたらさず、多スケールマッチングのエンドツーエンド最適化に課題があることが示された。