[論文レビュー] Learning Deep Structure-Preserving Image-Text Embeddings

Liwei Wang, Yin Li+1 more|arXiv (Cornell University)|Nov 19, 2015

Multimodal Machine Learning Applications参考文献 58被引用数 55

ひとこと要約

本論文は、度向的ランク付け損失とメトリック学習にインspiredされた、視覚的構造を保持する制約を組み合わせることで、画像とテキストの統合埋め込みを学習する深層2本のニューラルネットワークを提案する。この手法は、Flickr30KおよびMSCOCOの画像からテキスト、テキストから画像への検索ベンチマークで最先端の性能を達成し、Flickr30K Entitiesデータセットにおけるフレーズ局在化においても、特にハードネガティブサンプルによる微調整後、CCAを著しく上回る。

ABSTRACT

This paper proposes a method for learning joint embeddings of images and text using a two-branch neural network with multiple layers of linear projections followed by nonlinearities. The network is trained using a large margin objective that combines cross-view ranking constraints with within-view neighborhood structure preservation constraints inspired by metric learning literature. Extensive experiments show that our approach gains significant improvements in accuracy for image-to-text and text-to-image retrieval. Our method achieves new state-of-the-art results on the Flickr30K and MSCOCO image-sentence datasets and shows promise on the new task of phrase localization on the Flickr30K Entities dataset.

研究の動機と目的

• 異なるモダリティ間の意味的類似性を保持する共有埋め込み空間を学習することで、クロスモーダル画像-テキスト検索を向上させること。
• 線形でない複雑なデータ分布におけるスケーラビリティとパフォーマンスに制限を抱えるCCAベースの手法の課題に対処すること。
• メトリック学習にインspiredされた、ビュー内近傍構造の保持を組み込むことで、検索精度を向上させること。
• 画像から文、文から画像への検索タスクで最先端のパフォーマンスを達成すること。
• 画像内でのフレーズ局在という、新たなタスクにおける有効性を示すこと。

提案手法

• 画像とテキストそれぞれに対して、複数の全結合層とReLU非線形性を備えた2本のニューラルネットワークを用いる。
• 各ブランチの出力はL2正規化され、共有埋め込み空間におけるコサイン類似度を距離測定に使用可能にする。
• ネットワークは、バイディレクショナルランク付け損失（正しくペairedされた画像-文ペアが誤ったペアよりも高い順位に来るよう保証）と、ビュー内構造保持制約（例：LMNNスタイル）を組み合わせた損失関数で訓練される。
• 構造保持部は、サンプルのトリプレット（アーキテクチャ、ポジティブ、ネガティブ）を用い、各モダリティ内での相対的距離を強制する。
• 大マージンの目的関数を用いて、確率的勾配降下法でエンドツーエンドに訓練される。
• トレーニング後、誤って局在化された領域提案（真のラベルよりもフレーズに近いもの）を同定し、追加することでハードネガティブマイニングを実施し、耐性を高める。

実験結果

リサーチクエスチョン

• RQ1 非線形射影を備えた深層2本のニューラルネットワークは、線形CCAベースの手法を上回ることができるか？
• RQ2 メトリック学習にインスパイアされたビュー内構造保持を組み込むことで、クロスビュー検索パフォーマンスが向上するか？
• RQ3 提案手法は、Flickr30KやMSCOCOといった画像からテキスト、テキストから画像への検索ベンチマークで最先端の結果を達成できるか？
• RQ4 より挑戦的なタスク、特に正確な空間的グランドイングが求められるフレーズ局在に一般化可能か？
• RQ5 ハードネガティブマイニングは、特にフレーズ局在においてパフォーマンスをさらに向上させるか？

主な発見

• 提案手法は、Flickr30KおよびMSCOCOデータセットの両方で、画像からテキスト、テキストから画像への検索において、新たな最先端の結果を達成した。
• ハードネガティブマイニングを施した後、Recall@1が約6%向上し、mAPも同程度向上し、Flickr30K Entitiesフレーズ局在ベンチマークでCCAを上回った。
• 構造保持制約を組み込むことで、それらを含まないベースラインモデルに比べて一貫してパフォーマンスが向上したが、トリプレットの可用性が限られているため、その恩恵は限定的であった。
• ハードネガティブマイニングなしではCCAと同等の性能を示したが、ハードネガティブサンプルによる微調整後は著しく優れた性能を発揮した。
• バイディレクショナルランク付けとビュー内構造学習を組み合わせることで、単独で用いる場合よりもより頑健で正確な埋め込みが得られることを示した。
• 図3の可視化例では、CCAベースラインに比べて、フレーズに対してより正確でタイトなバウンディングボックスを生成していることが示された。