[論文レビュー] Unifying Visual-Semantic Embeddings with Multimodal Neural Language Models

Ryan Kiros, Ruslan Salakhutdinov+1 more|arXiv (Cornell University)|Nov 10, 2014

Multimodal Machine Learning Applications参考文献 47被引用数 1,320

ひとこと要約

本論文は、LSTMベースの文書符号化と、新たな構造的・内容的ニューラル言語モデル（SC-NLM）を用いたデコードの統合的エンコーダ・デコーダフレームワークを提案する。このフレームワークは、オブジェクト検出を用いずにFlickr8KおよびFlickr30Kで最先端の性能を達成し、より深い特徴量を用いることで新たなSOTA結果を樹立した。また、ベクトル演算を用いてマルチモーダルなベクトル空間における言語的規則性を示した。

ABSTRACT

Inspired by recent advances in multimodal learning and machine translation, we introduce an encoder-decoder pipeline that learns (a): a multimodal joint embedding space with images and text and (b): a novel language model for decoding distributed representations from our space. Our pipeline effectively unifies joint image-text embedding models with multimodal neural language models. We introduce the structure-content neural language model that disentangles the structure of a sentence to its content, conditioned on representations produced by the encoder. The encoder allows one to rank images and sentences while the decoder can generate novel descriptions from scratch. Using LSTM to encode sentences, we match the state-of-the-art performance on Flickr8K and Flickr30K without using object detections. We also set new best results when using the 19-layer Oxford convolutional network. Furthermore we show that with linear encoders, the learned embedding space captures multimodal regularities in terms of vector space arithmetic e.g. *image of a blue car* - "blue" + "red" is near images of red cars. Sample captions generated for 800 images are made available for comparison.

研究の動機と目的

• エンドツーエンドの画像キャプション生成を実現するため、画像・テキスト埋め込みモデルとマルチモーダルなニューラル言語モデルを統合する。
• マルチモーダル埋め込みに条件づけられた、文の構造と内容を分離する構造的・内容的ニューラル言語モデル（SC-NLM）を開発する。
• 同一の統合フレームワークを用いて、画像-文ランク付けと新しいキャプション生成の両方を可能にする。
• マルチモーダルなベクトル空間が、単語埋め込みにおけるものと類似した言語的規則性（例：類推的推論）を支持するかを検証する。
• テンプレートベースおよび構成ベースの手法を超えて、ニューラルシーケンス生成によりキャプション品質を向上させる。

提案手法

• LSTMエンコーダを用いて文を共有の視覚的・意味的空間に埋め込み、画像特徴量を線形変換により同じ空間に投影する。
• ペairワイズランクイング損失を用いて共同埋め込み空間を最適化し、意味的に類似した画像-文ペアがベクトル空間で近接するように保証する。
• 構造的・内容的ニューラル言語モデル（SC-NLM）を導入し、エンコーダ出力を条件として生成を行う一方で、文法的構造と意味的内容を分離する。
• 線形文書符号化（単語ベクトルの和）を適用し、マルチモーダル空間でベクトル演算を可能にし、例として *「青い車の画像」* − 「青い」 + 「赤い」 ≈ 「赤い車の画像」を実現する。
• 19層のオックスフォード畳み込みネットワークから得られる特徴量を用いて、Flickr30KとMS-COCOデータセットの組み合わせでエンコーダ・デコーダパイプラインを学習する。
• 主成分分析（PCA）の投影と最近傍検索を用いて、学習されたマルチモーダル空間における類似性と構造的規則性を定性的に分析する。

実験結果

リサーチクエスチョン

• RQ1 統合的エンコーダ・デコーダフレームワークは、画像・テキスト埋め込み学習とニューラルキャプション生成を効果的に統合できるか？
• RQ2 提案された構造的・内容的ニューラル言語モデル（SC-NLM）は、先行手法に比べてより自然で多様性のあるキャプションを生成できるか？
• RQ3 マルチモーダルなベクトル空間は、ベクトル演算を用いて示される類推的推論のような言語的規則性を支持できるか？
• RQ4 Flickr8KおよびFlickr30Kといった標準的な画像キャプションベンチマークにおいて、本モデルの性能は最先端手法と比べてどの程度か？
• RQ5 線形エンコーダは、LSTMに比べて検索精度が低いにもかかわらず、マルチモーダル埋め込みにおける言語的規則性をどの程度保持できるか？

主な発見

• 本モデルは、オブジェクト検出を用いずにFlickr8KおよびFlickr30Kで最先端の性能を達成し、先行SOTA結果と同等またはそれを上回った。
• 19層のオックスフォード畳み込みネットワークからの特徴量を用いることで、Flickr8KおよびFlickr30Kの両方で新たなSOTA結果を樹立し、特徴量の有効活用を示した。
• 線形エンコーダにより、マルチモーダル空間でベクトル演算が可能となり、*「青い車の画像」* − 「青い」 + 「赤い」 が「赤い車の画像」に近い表現を生成するなど、マルチモーダル埋め込みにおける言語的規則性が確認された。
• SC-NLMから生成されたキャプションは、TreeTalkや最近傍ベースラインと比較して、質的に優れており、自然さと多様性が向上していることが示された。
• エンコーダは関連する画像や文の検索に成功し、デコーダはスクラッチから一貫性のある新しいキャプションを生成した。これにより、フレームワークの二重機能（検索と生成）が裏付けられた。
• このフレームワークは自然に検索（ランク付け）と生成の両タスクをサポートし、視覚的・意味的埋め込みとマルチモーダル言語モデリングの統合を実証した。