[論文レビュー] Spatio-Temporal Attention Models for Grounded Video Captioning

Mihai Zanfir, Elisabeta Marinoiu+1 more|arXiv (Cornell University)|Oct 17, 2016

Multimodal Machine Learning Applications参考文献 39被引用数 24

ひとこと要約

この論文は、LSTMを用いて空間的・時間的オブジェクト候補と画像分類特徴を統合することで、局所化のための教師なし学習を用いずに、動画内の主語、動詞、目的語を局所化する空間的・時間的注意モデルを提案する。この手法はYouTube動画字幕生成ベンチマークで最先端の性能を達成するとともに、生成された字幕の各単語に対して解釈可能な視覚的局所化を提供する。

ABSTRACT

Automatic video captioning is challenging due to the complex interactions in dynamic real scenes. A comprehensive system would ultimately localize and track the objects, actions and interactions present in a video and generate a description that relies on temporal localization in order to ground the visual concepts. However, most existing automatic video captioning systems map from raw video data to high level textual description, bypassing localization and recognition, thus discarding potentially valuable information for content localization and generalization. In this work we present an automatic video captioning model that combines spatio-temporal attention and image classification by means of deep neural network structures based on long short-term memory. The resulting system is demonstrated to produce state-of-the-art results in the standard YouTube captioning benchmark while also offering the advantage of localizing the visual concepts (subjects, verbs, objects), with no grounding supervision, over space and time.

研究の動機と目的

• 人間による局所化のアノテーションを必要とせずに、動画字幕生成における視覚的コンセプト（主語、動詞、目的語）の局所化を解決すること。
• 空間的・時間的オブジェクト候補と事前学習済みの画像分類特徴を深層学習フレームワークに統合することで、動画字幕生成の性能を向上させること。
• テキストの要素を特定の空間的・時間的領域に関連付ける、注意に基づく解釈可能な局所化を可能にすること。
• 視覚的局所化の能力を維持したまま、標準のYouTube動画説明ベンチマークで最先端の結果を達成すること。

提案手法

• モデルは二重ストリームアーキテクチャを採用する：一方のストリームはC3DとVGG-16を用いて空間的・時間的特徴と外観特徴を処理し、もう一方のストリームはR-C3Dからのオブジェクト候補を処理する。
• 空間的・時間的注意メカニズムを採用し、生成された単語とオブジェクト候補の間で整合性重み（β）を計算することで、各単語に対して最も関連性の高い候補を選択する。
• 注意メカニズムは、視覚的特徴と以前の隠れ状態に条件付けられたLSTMベースのデコーダーに統合され、単語ごとに文を生成する。
• YouTubeデータセット上で事前学習された分類器から得られる高レベルの意味的表現（SVO：主語-動詞-目的語）が、視覚的特徴と融合される。
• 文の生成のためのクロスエントロピー損失と、過学習を防ぐためのL2正則化を用いて、エンド・ツー・エンドでモデルを訓練する。
• 視覚的局所化は、各単語に対してβ重みが最大となる候補を選択することで、事後的に推定され、各単語がどの動画領域をサポートしているかを解釈可能にする。

実験結果

リサーチクエスチョン

• RQ1 エンド・ツー・エンドの動画字幕生成モデルは、いかなる局所化の教師信号がなくても、動画内の主語、動詞、目的語を局所化できるか？
• RQ2 空間的・時間的オブジェクト候補と画像分類特徴を統合することで、字幕生成の性能と解釈可能性はどのように向上するか？
• RQ3 LSTMに基づく注意メカニズムは、テキスト出力と動画の特定の空間的・時間的領域をどの程度正確に一致させられるか？
• RQ4 提案手法は、標準の動画字幕生成ベンチマークで最先端の性能を達成するとともに、視覚的局所化を提供できるか？

主な発見

• モデルはYouTube動画字幕生成ベンチマークでBLEU-4スコア51.5%、METEORスコア32.0%を達成し、以前の手法を上回る性能を示した。
• 「pepper」「ball」「toy」「gun」などのキーワードで、空間的領域が小さくても高い精度で局所化が可能であった。
• 「girl riding a horse」のようなケースでは、1つの空間的・時間的候補が複数の単語に正しく関連づけられ、一貫性のある局所化が実現した。
• 多くの場合、主語と動詞（例：「man-cutting」「dog-playing」）の局所化が正しく行われたが、外観の変動のため、目的語の局所化は依然として困難であった。
• 強力な性能を示したが、一部で誤った文が生成される場合があり（例：「a boy is playing a ball」ではなく「a man playing with a ball」）、オブジェクト認識の限界が示された。
• モデルの注意メカニズムは、各単語に対して関連する動画フレームを的確に強調し、字幕生成プロセスにおける視覚的サポートを解釈可能に提供した。