[論文レビュー] Full-Network Embedding in a Multimodal Embedding Pipeline

Armand Vilalta, Dario García-Gasulla+5 more|arXiv (Cornell University)|Jul 24, 2017

Multimodal Machine Learning Applications参考文献 23被引用数 5

ひとこと要約

本稿では、Kirosら（2014年）のマルチモーダル埋め込みパイプラインに、フルネットワーク埋め込み（FNE）——マルチスケールで階層的なCNNベースの画像表現——を統合することを提案する。FNEは、標準の1層CNN特徴量に代えて使用され、Flickr8k、Flickr30k、MSCOCOの画像アノテーションおよびリtrievalタスクにおいて性能向上を実現し、MSCOCOにおける画像アノテーションでSOTA（最先端）の結果を達成。平均して1層CNN特徴量よりも3–4パーセンテージポイントの向上を示し、より豊かな視覚的表現としての優位性を実証した。

ABSTRACT

The current state-of-the-art for image annotation and image retrieval tasks is obtained through deep neural networks, which combine an image representation and a text representation into a shared embedding space. In this paper we evaluate the impact of using the Full-Network embedding in this setting, replacing the original image representation in a competitive multimodal embedding generation scheme. Unlike the one-layer image embeddings typically used by most approaches, the Full-Network embedding provides a multi-scale representation of images, which results in richer characterizations. To measure the influence of the Full-Network embedding, we evaluate its performance on three different datasets, and compare the results with the original multimodal embedding generation scheme when using a one-layer image embedding, and with the rest of the state-of-the-art. Results for image annotation and image retrieval tasks indicate that the Full-Network embedding is consistently superior to the one-layer embedding. These results motivate the integration of the Full-Network embedding on any multimodal embedding generation scheme, something feasible thanks to the flexibility of the approach.

研究の動機と目的

• フルネットワーク埋め込み（FNE）が、標準の1層CNN特徴量と比較してマルチモーダル埋め込み性能を向上させるかどうかを評価すること。
• FNEが複数のベンチマークデータセットにおける画像アノテーションおよび画像リtrievalタスクに与える影響を評価すること。
• FNEが、Kirosら（2014年）が提案したような一般的なマルチモーダル埋め込みパイプラインの性能を向上させることを確認すること。
• FNEベースのモデル（FN-MME）を、画像アノテーションおよび画像リtrievalの分野で現在の最先端手法と比較すること。
• FNEが異なるマルチモーダルアーキテクチャに一般化して適用可能かどうかを検討すること。

提案手法

• FNEは、事前学習済みCNNの全層の活性化を統合することで抽出され、マルチスケールの視覚的特徴を捉える。
• FNEは、Kirosら（2014年）のマルチモーダル埋め込みパイプラインにおける画像表現として使用され、GRUベースのテキスト符号化とCNNベースの画像符号化を統合する。
• アフィン変換を用いてFNEの次元をテキスト埋め込み空間に合わせ、共有のマルチモーダル埋め込み空間を形成する。
• パイプラインは、Flickr8k、Flickr30k、MSCOCOの3つのデータセットで評価され、Recall@Kや中央順位（median rank）といった標準指標が用いられた。
• FNEは、1層CNN特徴量（ベースライン）、元のCNN-MMEモデル、およびFVやW2VVといった最先端モデルと比較された。
• 1,000枚および5,000枚のテスト画像を用いた実験により、異なる評価設定下での性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 1層CNN特徴量の代わりにフルネットワーク埋め込み（FNE）を採用することで、マルチモーダル画像・テキストリtrievalおよびアノテーションタスクの性能が向上するか？
• RQ2 FNEベースのモデル（FN-MME）は、1層特徴量を用いた元のKirosら（2014年）のパイプラインと比較して、どのように異なるか？
• RQ3 FNEベースのモデルは、画像アノテーションおよび画像リtrievalの分野で、現在の最先端水準にどの程度近づくか、あるいはそれを上回るか？
• RQ4 FNEによる性能向上は、異なるデータセットサイズやベンチマーク設定において一貫しているか？
• RQ5 FNEは、既存のマルチモーダル埋め込みパイプラインに、汎用的な画像表現として効果的に統合可能か？

主な発見

• FN-MMEモデルは、Flickrデータセット全体で平均して1層CNN特徴量を用いた元のCNN-MMEモデルよりも3パーセンテージポイント、MSCOCOデータセットでは4パーセンテージポイントの向上を示した。
• MSCOCOデータセットでは、FN-MMEは、W2VVモデルを含む、他のすべてのモデルを上回る、報告された最高の画像アノテーション結果を達成した。
• 画像リtrievalのタスクでは、FN-MMEは現在の最先端手法（FV）よりも顕著に低い性能を示しており、FNEがこの特定のタスクではやや劣っていることが示唆された。
• FNEによる性能向上は、3つのすべてのデータセットで一貫しており、特にMSCOCOのような大規模データセットにおいて、FN-MMEがより顕著な改善を示した。
• FNEベースのモデルは、画像アノテーション分野で最先端手法と競合可能であり、特に大規模データセットにおいて顕著な向上が見られた。これは、FNEが高度なパイプラインに統合された場合、性能向上の可能性を秘めていることを示唆している。
• 結果から、FNEは1層特徴量よりもより豊かで、より頑健な視覚的表現を提供することが明らかになった。FNEは、あらゆるマルチモーダル埋め込みフレームワークへの統合に非常に適した候補である。