[論文レビュー] Joint Event Detection and Description in Continuous Video Streams

Huijuan Xu, Boyang Li+3 more|arXiv (Cornell University)|Feb 28, 2018

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

本稿では、連続的な動画ストリームにおいて時間的イベントを共同で検出するとともに、自然言語による記述を生成するエンドツーエンドのディーブラーニングモデル、JEDDi-Netを提案する。3次元畳み込み特徴量、提案領域固有の表現を抽出する3次元SoIプーリング、および視覚的・言語的文脈を統合する階層的キャプションモジュールを用いることで、ActivityNet Captionsでは最先端の性能を達成し、TACoS-MultiLevelでは初めてのダイナミックキャプション結果を報告した。CIDEr（104.0）およびROUGE-L（50.9）の顕著な向上を達成した。

ABSTRACT

Dense video captioning is a fine-grained video understanding task that involves two sub-problems: localizing distinct events in a long video stream, and generating captions for the localized events. We propose the Joint Event Detection and Description Network (JEDDi-Net), which solves the dense video captioning task in an end-to-end fashion. Our model continuously encodes the input video stream with three-dimensional convolutional layers, proposes variable-length temporal events based on pooled features, and generates their captions. Proposal features are extracted within each proposal segment through 3D Segment-of-Interest pooling from shared video feature encoding. In order to explicitly model temporal relationships between visual events and their captions in a single video, we also propose a two-level hierarchical captioning module that keeps track of context. On the large-scale ActivityNet Captions dataset, JEDDi-Net demonstrates improved results as measured by standard metrics. We also present the first dense captioning results on the TACoS-MultiLevel dataset.

研究の動機と目的

• 従来の2段階型ダイナミックビデオキャプションモデルが、イベントプロポーザルとキャプション生成ネットワークを別々に学習するという制限を解消すること。
• RNNの状態ベクトルに依存せず、3次元SoIプーリングを用いてプロポーザル固有の特徴量を抽出することで、イベント検出の精度を向上させること。
• 時間的に順序付けられたイベント間で視覚的および言語的文脈をモデル化することで、キャプションの整合性を向上させること。
• キャプション損失が逆誤差伝搬によりプロポーザル生成を最適化できるように、エンドツーエンドの学習を可能にすること。
• TACoS-MultiLevelデータセットに、細分化された複数文の記述を備えたダイナミックビデオキャプションの最初のベンチマークを確立すること。

提案手法

• 入力動画ストリーム全体を共有された空間時間的特徴量に変換するため、3次元畳み込みネットワークを用いる。
• R-C3Dに基づくプロポーザルネットワークを採用し、可変長の時間的セグメント（潜在的イベント）を生成する。
• 共有された動画特徴量から、プロポーザル固有の特徴量を抽出するために3次元セグメント・オブ・インタレスト（SoI）プーリングを適用し、表現の正確性を向上させる。
• 2段階の階層的キャプションモジュールを実装：上位レベルのコントローラーRNNが視覚的・言語的文脈を集約し、下位レベルのRNNがこの文脈に条件づけられた文を生成する。
• 全ネットワークをエンドツーエンドで学習させ、キャプション損失の勾配がプロポーザル生成にまで伝搬できるようにする。
• 標準的な動画サンプリング（5 fps）と語彙ベースのトークン化を採用し、最大15トークンのキャプション長を設定する。

実験結果

リサーチクエスチョン

• RQ1 イベント検出とキャプション生成のエンドツーエンド学習は、別々の学習に比べて性能向上をもたらすか？
• RQ2 プロポーザル特徴量として3次元SoIプーリングを用いることで、RNNの状態ベクトルに比べてより正確な視覚的表現が得られるか？
• RQ3 階層的キャプションモジュールに視覚的および言語的文脈を統合することで、キャプションの質と整合性はどの程度向上するか？
• RQ4 提案モデルは、TACoS-MultiLevelのような高密度のアノテーションを持つデータセットにも一般化可能か？
• RQ5 TACoS-MultiLevelにおけるダイナミックビデオキャプションの性能は何か？また、トリムムビデオキャプションのベースラインと比べてどうなるか？

主な発見

• ActivityNet Captionsデータセットでは、JEDDi-Netが共同学習下でCIDErスコア99.7、ROUGE-L 50.0を達成し、別々の学習に比べて優れた性能を示した。
• 明示的な文脈モデリングを備えたモデル（JEDDi-Net with context）は、TACoS-MultiLevelでCIDErスコア104.0を達成し、別々の学習ベースライン（65.4）を著しく上回った。
• TACoS-MultiLevelでは、Bleu-4スコア18.1を達成し、IoUオーバーラップを考慮した場合、トリムムビデオキャプションの上限（27.5%、Bleu-4）に近づいた。
• エンドツーエンド学習を採用することで、tIoU閾値（0.5–0.95）の平均AUCが41.90から43.30に向上し、プロポーザル品質の向上を示した。
• 視覚的および言語的文脈を統合した階層的キャプションモジュールは、非文脈的バージョンに比べてMETEORおよびCIDERで1.5–2.0ポイントの向上を示した。
• 定性的な結果から、JEDDi-Netはオレンジや卵などの小物同士の相互作用についても細分化された記述を生成できることを示しており、エンドツーエンドの監視により効果的な学習が行われていることが示唆された。