[論文レビュー] Jointly Modeling Embedding and Translation to Bridge Video and Language

Yingwei Pan, Tao Mei+3 more|arXiv (Cornell University)|May 7, 2015

Multimodal Machine Learning Applications参考文献 33被引用数 29

ひとこと要約

本稿では、2次元/3次元CNNを用いた動画表現の共同学習、LSTMを用いた文生成、および視覚的・意味的埋め込みを用いた動画コンテンツと自然言語記述の間のグローバルな意味的整合性の強制により、動画記述生成を統合的に学習するLSTM-Eというフレームワークを提案する。局所的な整合性（LSTMによる最適化）とグローバルな関連性（埋め込み空間による最適化）の両方を最適化することで、YouTube2Textで最先端の性能を達成し、BLEU@4が45.3%、METEORが31.0%に達する。また、主語・動詞・目的語の三つ組み予測において顕著な向上を示した。

ABSTRACT

Automatically describing video content with natural language is a fundamental challenge of multimedia. Recurrent Neural Networks (RNN), which models sequence dynamics, has attracted increasing attention on visual interpretation. However, most existing approaches generate a word locally with given previous words and the visual content, while the relationship between sentence semantics and visual content is not holistically exploited. As a result, the generated sentences may be contextually correct but the semantics (e.g., subjects, verbs or objects) are not true. This paper presents a novel unified framework, named Long Short-Term Memory with visual-semantic Embedding (LSTM-E), which can simultaneously explore the learning of LSTM and visual-semantic embedding. The former aims to locally maximize the probability of generating the next word given previous words and visual content, while the latter is to create a visual-semantic embedding space for enforcing the relationship between the semantics of the entire sentence and visual content. Our proposed LSTM-E consists of three components: a 2-D and/or 3-D deep convolutional neural networks for learning powerful video representation, a deep RNN for generating sentences, and a joint embedding model for exploring the relationships between visual content and sentence semantics. The experiments on YouTube2Text dataset show that our proposed LSTM-E achieves to-date the best reported performance in generating natural sentences: 45.3% and 31.0% in terms of BLEU@4 and METEOR, respectively. We also demonstrate that LSTM-E is superior in predicting Subject-Verb-Object (SVO) triplets to several state-of-the-art techniques.

研究の動機と目的

• 既存の動画記述生成モデルが局所的な単語生成の最適化にとどまり、文と動画コンテンツの間のグローバルな意味的整合性を強制しないという限界を解消すること。
• 生成された記述の事実的正確性を向上させることで、文における主語、動詞、目的語が動画コンテンツを正確に反映するように保証すること。
• 系列生成（LSTMによるもの）と視覚的・意味的埋め込みの両方を統合的に最適化する深層学習フレームワークを構築すること。
• グローバルな視覚的・意味的埋め込み空間を組み込むことで、文生成の質とSVO三つ組み予測の正確性が向上することを実証すること。

提案手法

• フレームワークは、2次元および／または3次元畳み込みニューラルネットワーク（CNN）を用いて動画フレームまたはクリップから視覚的特徴を抽出し、平均プーリングを適用してコンactな動画表現を生成する。
• 長短期記憶（LSTM）ネットワークが、動画表現と以前の単語に条件づけられて、段階的に自然言語文を生成する。
• 視覚的・意味的埋め込みモデルは、動画表現と文の埋め込みを共通のベクトル空間にマップすることで、意味的関連性を測定・強制する。
• モデルは、文の生成における交差エントロピー（標準的なクロスエントロピー損失）と、共通空間における文と動画の埋め込み距離を測定する関連性損失の組み合わせを最小化することで、エンドツーエンドに訓練される。
• 2つの損失のトレードオフは、ハイパーパrameter λ によって制御され、局所的ななめらかさとグローバルな意味的正確性のバランスをとる。
• バックボーンネットワーク（例：VGG、C3D、AlexNet）およびLSTMの隠れ層サイズに関するアブレーションスタディを含め、YouTube2Textデータセットを用いてフレームワークを評価した。

実験結果

リサーチクエスチョン

• RQ1 LSTMと視覚的・意味的埋め込みを同時に学習させることで、局所的な単語予測を超えて、動画記述の事実的正確性が向上するか？
• RQ2 グローバルな意味的整合性損失を含めることで、生成された文の質とSVO三つ組み予測の精度にどのような影響を与えるか？
• RQ3 動画記述生成において、局所的整合性（LSTM損失）とグローバル関連性（埋め込み損失）の最適なトレードオフは何か？
• RQ4 異なる動画バックボーンネットワーク（2次元／3次元CNN）およびLSTMの隠れ層サイズは、性能にどのように影響するか？

主な発見

• LSTM-EはYouTube2Textデータセットで最先端の性能を達成し、BLEU@4が45.3%、METEORが31.0%に達した。
• モデルは主語・動詞・目的語（SVO）三つ組み予測を顕著に改善し、VGGを用いた場合29.5%、C3Dを用いた場合29.9%のMETEORを達成し、VGGとC3Dを併用した場合31.0%に達した。
• 整合性と関連性損失のバランスをとる最適なトレードオフパラメータλは、正規化された指標を用いた性能曲線から約0.7であると示された。
• LSTMの隠れ層サイズを128から512に増加させることで性能が向上し、512が最良の結果（BLEU@4が45.3%、METEORが31.0%）を達成した。
• LSTM-E（VGG+C3D）は、ベースラインモデルに比べてより正確で整合性の高い文を生成し、主語、動詞、目的語が動画コンテンツとよりよく一致した。