[論文レビュー] Jointly Localizing and Describing Events for Dense Video Captioning

Yehao Li, Ting Yao+3 more|arXiv (Cornell University)|Apr 23, 2018

Multimodal Machine Learning Applications参考文献 38被引用数 38

ひとこと要約

本論文は、時間的イベント局所化と文生成を同時に最適化する、包括的でエンド・ツー・エンドの深層学習フレームワークを提案する。新規の記述的表現回帰コンponentを用いて、言語的フィードバックを検出プロセスに統合し、属性拡張型キャプションアーキテクチャを活用することで、ActivityNet Captionsテストセットで12.96%のMETEORスコアを達成し、最先端性能（SOTA）を樹立した。

ABSTRACT

Automatically describing a video with natural language is regarded as a fundamental challenge in computer vision. The problem nevertheless is not trivial especially when a video contains multiple events to be worthy of mention, which often happens in real videos. A valid question is how to temporally localize and then describe events, which is known as "dense video captioning." In this paper, we present a novel framework for dense video captioning that unifies the localization of temporal event proposals and sentence generation of each proposal, by jointly training them in an end-to-end manner. To combine these two worlds, we integrate a new design, namely descriptiveness regression, into a single shot detection structure to infer the descriptive complexity of each detected proposal via sentence generation. This in turn adjusts the temporal locations of each event proposal. Our model differs from existing dense video captioning methods since we propose a joint and global optimization of detection and captioning, and the framework uniquely capitalizes on an attribute-augmented video captioning architecture. Extensive experiments are conducted on ActivityNet Captions dataset and our framework shows clear improvements when compared to the state-of-the-art techniques. More remarkably, we obtain a new record: METEOR of 12.96% on ActivityNet Captions official test set.

研究の動機と目的

• 長時間の動画内で複数のイベントが発生する状況において、正確な時間的局所化と記述的文の生成を両立する課題に対処すること。
• 局所化とキャプション生成を分離する二段階的手法の限界を克服し、最適でない性能に至る問題を解消すること。
• 言語理解が統合最適化フレームワーク内での時間的イベント提案の精度を向上させる方法を調査すること。
• エンド・ツー・エンドの方法で、イベント検出と文生成の相互作用をモデル化する包括的アーキテクチャの開発を目的とする。

提案手法

• 各イベントプロポーザルの言語的複雑さを推定する記述的表現回帰コンponentを導入し、時間的局所化をガイドする。
• 単一ショット検出フレームワークに記述的表現回帰を統合し、イベント/背景分類および時間的座標回帰と併せて、統合的な学習を実現する。
• 記述的表現スコアを注意メカニズムとして用い、各プロポーザル内のクリップレベル特徴量に重みを付与し、プロポーザルレベルの表現を精緻化する。
• 精緻化された注意重み付きプロポーザル特徴に基づいて自然言語記述を生成する、属性拡張型キャプションアーキテクチャを採用する。
• 時間的解像度を低下させる多スケールアンカー層（conv3からconv11まで）を用い、多様なイベント継続時間にわたる局所化精度を向上させる。
• モデル全体をエンド・ツー・エンドで学習させ、検出とキャプション生成の両目的のグローバル最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 時間的イベント局所化と文生成の相互作用を、密度の高い動画キャプションにおいて効果的にモデル化できるか？
• RQ2 記述的表現回帰による言語フィードバックが、時間的イベントプロポーザルの正確性を向上させられるか？
• RQ3 検出とキャプション生成を統合的に最適化することは、逐次的または二段階的手法を上回る性能を発揮できるか？
• RQ4 多スケールアンカー層は、密度の高い動画キャプションにおける局所化性能にどのような影響を及ぼすか？

主な発見

• 提案フレームワークは、公式のActivityNet Captionsテストセットで12.96%のMETEORスコアを達成し、これまでのあらゆる手法を上回る新たなSOTAを樹立した。
• 記述的表現回帰コンponentは、バリデーションセットで60.07%のAUCスコアを達成し、TAG、DCE、TURNを上回る性能を示し、時間的イベントプロポーザルの性能向上に顕著な寄与を示した。
• C3D特徴の代わりにP3D ResNet特徴を使用することで、METEORスコアが12.85%から12.96%に向上し、より豊かなクリップレベル表現の利点を示した。
• アブレーションスタディの結果、時間的解像度を変化させるアンカー層の数を増やすことで性能が向上し、conv3からconv11の組み合わせが、精度とモデルの複雑さのバランスにおいて最良の妥協点を提供した。
• 記述的表現回帰を統合した統合学習により、局所化されたイベントとその記述の整合性が向上し、文の関連性と局所化リ콜の両面で改善が確認された。