[論文レビュー] Bidirectional Long-Short Term Memory for Video Description

Yi Bin, Yang Yang+4 more|arXiv (Cornell University)|Jun 15, 2016

Multimodal Machine Learning Applications参考文献 31被引用数 16

ひとこと要約

この論文は、CNN特徴量と双方向LSTMを用いて、動画フレーム内の前向きおよび後向きの時間的依存関係を同時にモデル化する、双方向長短期記憶（BiLSTM）に基づく動画キャプション生成フレームワークを提案する。動画符号化と言語生成を分離し、拡張された双方向動画表現で言語モデルを初期化することで、MSVDベンチマーク上で最先端の性能を達成し、METEORスコアで先行研究を3%以上上回った。

ABSTRACT

Video captioning has been attracting broad research attention in multimedia community. However, most existing approaches either ignore temporal information among video frames or just employ local contextual temporal knowledge. In this work, we propose a novel video captioning framework, termed as \emph{Bidirectional Long-Short Term Memory} (BiLSTM), which deeply captures bidirectional global temporal structure in video. Specifically, we first devise a joint visual modelling approach to encode video data by combining a forward LSTM pass, a backward LSTM pass, together with visual features from Convolutional Neural Networks (CNNs). Then, we inject the derived video representation into the subsequent language model for initialization. The benefits are in two folds: 1) comprehensively preserving sequential and visual information; and 2) adaptively learning dense visual features and sparse semantic representations for videos and sentences, respectively. We verify the effectiveness of our proposed video captioning framework on a commonly-used benchmark, i.e., Microsoft Video Description (MSVD) corpus, and the experimental results demonstrate that the superiority of the proposed approach as compared to several state-of-the-art methods.

研究の動機と目的

• 動画シーケンスにおける双方向的グローバル時間的依存関係をモデル化できないという、従来の動画キャプション手法の限界を解決すること。
• 順方向RNNやプーリングベースの動画表現が順序的文脈を失うという欠点を克服すること。
• 動画と言語生成の別々のモデリングにより、密度的な視覚的特徴とスパarsityな意味的文書表現の適応的学習を可能にすること。
• CNN特徴量と双方向LSTM符号化を統合し、得られた動画表現で言語モデルを初期化することで、動画キャプションの性能を向上させること。

提案手法

• CNN埋め込み特徴量と組み合わせた前向きおよび後向きLSTMの両方のパスを用いて、動画内の双方向的グローバル時間的構造を捉える共同視覚モデリング手法を採用する。
• 前向きおよび後向きLSTMの隠れ状態を元のCNN特徴量と統合し、文脈を豊富に含む統一された動画表現を形成する。
• 得られた動画表現を用いてLSTMベースの言語モデルを初期化し、文の意味的整合性を保証する。
• 視覚的特徴符号化とテキスト生成に別個のLSTMネットワークを用いることで、動画符号化と言語生成を分離する。
• 強化学習を適用してBiLSTMモデルを微調整し、方策勾配最適化により生成品質を向上させる。
• METEORを主な評価指標とし、WordNetベースのマッチング手法を活用して生成キャプションの意味的類似性を捉える。

実験結果

リサーチクエスチョン

• RQ1 動画シーケンスにおける過去と未来の文脈を捉えることで、双方向LSTMモデリングが動画キャプションの性能向上に寄与するか？
• RQ2 動画符号化と言語生成を分離することで、エンドツーエンドRNNモデルと比較して、より優れた表現学習とキャプション品質が達成できるか？
• RQ3 双方向動画表現と言語モデルの初期化を統合することで、生成キャプションの意味的豊かさと流暢さにどのような影響を与えるか？
• RQ4 本手法は、局所的時間的モデリングや順方向符号化に依存する最先端モデルと比較して、どの程度優れているか？

主な発見

• 提案されたBiLSTM強化モデルは、MSVDベンチマークで30.3%のMETEORスコアを達成し、比較対象のすべての最先端手法を上回った。
• 双方向共同LSTMモデルは、その単方向対比モデル（29.9% 対 29.5%）に対して0.4%の性能向上を示し、双方向時間的モデリングの有効性を裏付けた。
• BiLSTM強化モデルは、単方向のみのモデルと比較して3%以上も向上し、双方向符号化と別々のモデリングの有効性を確認した。
• S2VTベースのモデルでさえ、タスク固有の微調整済み特徴量ではなく一般のCNN特徴量を用いても、本手法のアーキテクチャは顕著な優位性を示した。
• C3Dとアテンション機構を用いた強力なベースライン（29.6% METEOR）をも上回ったことから、局所的時間的モデリングを超える双方向符号化の補完的利点が明らかになった。
• 本手法は特徴量の選択に対して頑健であり、RGB+Flow特徴量を用いるモデルと比較して、一般用途のVGG特徴量でも優れた結果を達成した。これは、より強い汎化能力を示している。