[論文レビュー] Revisiting Cross Modal Retrieval

Shah Nawaz, Muhammad Kamran Janjua+2 more|arXiv (Cornell University)|Jul 19, 2018

Multimodal Machine Learning Applications参考文献 57被引用数 4

ひとこと要約

本稿では、画像とテキストの符号化を統合された埋め込み空間に統合する1つのネットワークによるクロスモーダル検索システムを提案する。これにより、各モダリティごとに別々のネットワークを必要としなくなる。InceptionResNet-V1とセンター損失を用いた共同学習により、MS-COCOおよびFlickr30Kで競争力ある性能を達成し、統一されたテキスト符号化を通じてモダリティ間の意味的関係を効果的に捉えることができることを示している。これは、マルチネットワークアーキテクチャの優位性に疑問を呈するものである。

ABSTRACT

This paper proposes a cross-modal retrieval system that leverages on image and text encoding. Most multimodal architectures employ separate networks for each modality to capture the semantic relationship between them. However, in our work image-text encoding can achieve comparable results in terms of cross-modal retrieval without having to use a separate network for each modality. We show that text encodings can capture semantic relationships between multiple modalities. In our knowledge, this work is the first of its kind in terms of employing a single network and fused image-text embedding for cross-modal retrieval. We evaluate our approach on two famous multimodal datasets: MS-COCO and Flickr30K.

研究の動機と目的

• 画像とテキストのための別々のネットワークを避ける統一されたディープラーニングアーキテクチャを、クロスモーダル検索用に開発すること。
• テキスト符号化のみでモダリティ間の意味的関係を捉えられることを評価すること。これにより、ペaired画像・テキストデータへの依存度を低下させることを目的とする。
• Recall@K がマルチモーダル検索システムの主な評価指標として妥当かどうかに疑問を呈すること。
• 1つのスケーラブルなネットワークが、画像とテキストを共通の埋め込み空間に効果的にマッピングできることを示すこと。

提案手法

• 画像とテキスト符号化入力を共通のネットワークで処理するため、1つのInceptionResNet-V1バックボーンを用いる。
• 事前学習済みの文埋め込みを用いてテキスト符号化を行い、共同空間におけるテキスト記述を表現する。
• 画像・テキストペア間のクラス内距離を最小化するための監視信号として、センター損失を適用する。
• ネットワークの初期段階で画像とテキストの表現を統合し、意味的関係の共同学習を可能にする。
• 対照的損失を用いてエンドツーエンドでモデルを学習し、一致する画像・テキストペア間の意味的類似性を促進する。
• 共通の埋め込み空間におけるユークリッド距離を用いて検索を実行し、評価のための最近傍探索を実施する。

実験結果

リサーチクエスチョン

• RQ1 別々のエンコーダーを用いずに、1つのネットワークが画像・テキストの統合表現を効果的に学習できるか？
• RQ2 テキスト符号化のみで、画像とその説明の間の意味的関係をどの程度正確に捉えられるか？
• RQ3 標準ベンチマークにおいて、統一ネットワークの性能は、マルチネットワークの最先端手法と比べてどの程度か？
• RQ4 Recall@K が検索結果における意味的類似性を正しく反映しないのはなぜか？また、より適切な代替評価基準は何か？

主な発見

• 提案された1つのネットワークアプローチは、統一アーキテクチャを採用しているにもかかわらず、MS-COCOでは45.76、Flickr30Kでは42.6のRecall@10を達成し、競争力ある性能を示した。
• MS-COCOでは30.10、Flickr30Kでは33.0のRecall@5を達成し、画像・テキスト間の強固なクロスモーダル整合性を示した。
• 著者らは、Recall@K が意味的検索を評価するのに不適切な指標であると主張しており、図1に示すように、一致しないが意味的に類似したペアを考慮していないためである。
• 結果から、検索結果が意味的に妥当であっても、正確なペアが検出されない限りRecall@Kスコアが低くなることが明らかになった。これは、この指標の主要な限界を示している。
• 本研究では、テキスト符号化のみで十分にクロスモーダルの意味的関係を捉えられることを示しており、別々のモダリティ固有のネットワークは不要であると結論づけた。