[論文レビュー] Video Captioning with Transferred Semantic Attributes

Yingwei Pan, Ting Yao+2 more|arXiv (Cornell University)|Nov 23, 2016

Multimodal Machine Learning Applications参考文献 35被引用数 16

ひとこと要約

本論文では、エンドツーエンドのLSTMベースのエンコーダーデコーダーフレームワークに、画像および動画からの転送された意味的属性を統合することで文生成を向上させる、新しい動画キャプション生成モデルLSTM-TSAを提案する。動的な転送ユニットを導入して文脈的に画像と動画の属性をバランスさせることで、MSVDデータセットにおいて52.8% BLEU@4および74.0% CIDEr-Dという最先端の性能を達成した。

ABSTRACT

Automatically generating natural language descriptions of videos plays a fundamental challenge for computer vision community. Most recent progress in this problem has been achieved through employing 2-D and/or 3-D Convolutional Neural Networks (CNN) to encode video content and Recurrent Neural Networks (RNN) to decode a sentence. In this paper, we present Long Short-Term Memory with Transferred Semantic Attributes (LSTM-TSA)---a novel deep architecture that incorporates the transferred semantic attributes learnt from images and videos into the CNN plus RNN framework, by training them in an end-to-end manner. The design of LSTM-TSA is highly inspired by the facts that 1) semantic attributes play a significant contribution to captioning, and 2) images and videos carry complementary semantics and thus can reinforce each other for captioning. To boost video captioning, we propose a novel transfer unit to model the mutually correlated attributes learnt from images and videos. Extensive experiments are conducted on three public datasets, i.e., MSVD, M-VAD and MPII-MD. Our proposed LSTM-TSA achieves to-date the best published performance in sentence generation on MSVD: 52.8% and 74.0% in terms of BLEU@4 and CIDEr-D. Superior results when compared to state-of-the-art methods are also reported on M-VAD and MPII-MD.

研究の動機と目的

• 既存の動画キャプションモデルが高レベルの意味的手がかりを十分に活用できないという限界を是正するため、キャプションパイプラインに意味的属性を統合すること。
• 静的コンテンツ（画像）から抽出された意味的属性と時間的ダイナミクス（動画）から抽出された意味的属性の相補性を、より良い文生成に活かす方法を検討すること。
• 文脈に応じて画像と動画の属性に与える影響を動的にバランスする、適応的統合メカニズムを設計すること。
• 複数の動画フレームにわたるより効果的な属性学習を可能にする包括的な動画MILフレームワークを構築すること、意味的表現の向上を目的とする。

提案手法

• サンプリングされた動画フレームから視覚的特徴を抽出するために2次元／3次元畳み込みニューラルネットワーク（CNNs）を活用し、平均プーリングを適用して動画表現を生成する。
• 全フレームの意味的属性を同時に学習する動画固有の複数インスタンス学習（MIL）フレームワークを導入し、フレーム単位の学習よりも包括的な意味的理解を向上させる。
• 動画表現と意味的属性を入力として受けるLSTMデコーダーを採用し、画像および動画からの両方の属性を強化して使用する。
• 現在の入力語とLSTM隠れ状態に基づいて、注意メカニズムに類似した重みを動的に計算する転送ユニットを設計し、画像と動画の属性を文脈に応じて統合する。
• 時間ステップごとに更新されるゲートパラメータを用いて、画像と動画の属性の重み付き組み合わせを計算するゲートメカニズム（LSTM-TSA IVバージョン）を採用し、適応的制御を実現する。
• モデル全体をエンドツーエンドで訓練することで、視覚的特徴抽出、属性学習、文生成の共同最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 画像および動画から抽出した意味的属性を効果的に統合することで、動画キャプションの性能向上が図れるか？
• RQ2 静的画像属性の意味的特徴と動的動画属性の意味的特徴を、文生成の過程で文脈に応じて相補的に活用できるか？
• RQ3 フレームレベルの属性学習と比較して、包括的な動画MILフレームワークが属性学習において優れているか？
• RQ4 入力語と隠れ状態に応じて適応的に変化する動的な転送ユニットは、固定または要素単位の統合と比較して、どれほど文の品質を向上させるか？

主な発見

• 提案されたLSTM-TSAモデルは、MSVDデータセットで52.8% BLEU@4および74.0% CIDEr-Dという最先端の性能を達成し、先行手法を上回った。
• 属性学習に用いた動画MILフレームワークは、フレームレベルMILよりも顕著に性能を向上させ、MSVDデータセットにおけるCIDEr-Dを70.6%から71.7%に向上させた。
• 画像と動画の両方の属性に学習された重みを適用する動的な転送ユニット（LSTM-TSA IV₃）が最も高い性能を示し、52.8% BLEU@4および74.0% CIDEr-Dを達成した。
• 時間ステップごとに変化する転送ゲートを用いることで、固定された要素単位の和集合（LSTM-TSA IV₀）と比較して一貫して結果が向上し、文脈に応じた統合の利点を実証した。
• M-VADおよびMPII-MDデータセットでも、LSTM-TSAは最先端の手法を上回る優れた結果を達成しており、データセット間での汎用性を確認した。
• アブレーションスタディの結果、動的重み付けによる両方のソースからの属性統合が最大の性能向上をもたらし、画像と動画の意味的特徴の相補性を裏付けた。