[論文レビュー] Streamlined Dense Video Captioning

Jonghwan Mun, Linjie Yang+3 more|arXiv (Cornell University)|Apr 8, 2019

Multimodal Machine Learning Applications参考文献 36被引用数 7

ひとこと要約

本論文は、最初に順序付きのイベントプロポーザルの系列を検出することで、イベント間の時間的依存関係をモデル化し、強化学習で最適化されたキャプション生成ネットワークを用いて順次的に一貫性のある文脈認識キャプションを生成する、簡素化された密度型ビデオキャプションフレームワークを提案する。この手法は、イベントレベルおよびエピソードレベルの報酬を統合することで一貫性と正確性を向上させることで、ActivityNet Captions データセットにおいて最先端の性能を達成した。

ABSTRACT

Dense video captioning is an extremely challenging task since accurate and coherent description of events in a video requires holistic understanding of video contents as well as contextual reasoning of individual events. Most existing approaches handle this problem by first detecting event proposals from a video and then captioning on a subset of the proposals. As a result, the generated sentences are prone to be redundant or inconsistent since they fail to consider temporal dependency between events. To tackle this challenge, we propose a novel dense video captioning framework, which models temporal dependency across events in a video explicitly and leverages visual and linguistic context from prior events for coherent storytelling. This objective is achieved by 1) integrating an event sequence generation network to select a sequence of event proposals adaptively, and 2) feeding the sequence of event proposals to our sequential video captioning network, which is trained by reinforcement learning with two-level rewards at both event and episode levels for better context modeling. The proposed technique achieves outstanding performances on ActivityNet Captions dataset in most metrics.

研究の動機と目的

• ビデオ内の相互に依存する複数のイベントに対して一貫性があり文脈に適ったキャプションを生成する課題に対処すること。
• 従来の手法がイベントキャプションを独立して処理するため、重複や一貫性の欠如が生じるという限界を克服すること。
• 適応的イベント系列生成と順次的キャプション生成を通じて、イベント間の時間的依存関係を明示的にモデル化すること。
• キャプション生成プロセスにおいて、以前のイベントの視覚的および言語的文脈を統合することで、キャプション品質を向上させること。
• 二重レベルの報酬を用いた新規な訓練方式により、ActivityNet Captions ベンチマークで最先端の性能を達成すること。

提案手法

• 候補検出からのイベントプロポーザルの系列を適応的に選択するイベント系列生成ネットワーク（ESGN）を導入し、重複を低減するとともに時間的順序をモデル化する。
• 各キャプションを以前のイベントおよびその記述に条件づける階層的RNNベースの順次的キャプション生成ネットワーク（SCN）を採用し、文脈的一致性を確保する。
• イベントレベルの報酬（各イベントの正確性）とエピソードレベルの報酬（全体の物語の一貫性）の二段階報酬を用いて、強化学習によりキャプションネットワークを訓練する。
• 各新しいキャプションの生成を、事前に学習されたCNNからの視覚的特徴および以前のキャプションからの言語的特徴に条件づける。
• 教師あり事前学習と、疎な密度報酬を用いた強化学習による微調整の二段階訓練プロセスを適用する。
• イベントレベルおよびエピソードレベルの両方でBLEU、METEOR、CIDErスコアを組み合わせた報酬関数を用い、滑らかさと一貫性を最適化する。

実験結果

リサーチクエスチョン

• RQ1 イベント間の時間的依存関係をモデル化することで、密度型ビデオキャプションの一貫性が向上するか？
• RQ2 以前のイベントに条件づけた順次的キャプション生成は、独立して処理する手法と比較して、より正確で一貫性のある記述をもたらすか？
• RQ3 二重報酬（イベントレベルおよびエピソードレベル）は、単一レベルの監視に比べて、キャプション品質をどの程度向上させるか？
• RQ4 イベント系列の検出とキャプション生成を統合したフレームワークは、二段階パイプラインを上回る性能を達成できるか？
• RQ5 標準ベンチマーク（ActivityNet Captions など）において、本手法は最先端の手法と比較してどの程度優れているか？

主な発見

• 提案手法SDVCは、ActivityNet CaptionsのテストスプリットでMETEORスコア8.82を達成し、以前の最先端手法を顕著に上回った。
• アブレーションスタディの結果、イベント系列生成ネットワーク（ESGN）を用いることで、平均的なプロポーザル数が77.99から2.85に減少し、METEORスコアが0.85ポイント向上した。
• 階層的RNNを用いた順次的キャプション生成（ESGN-SCN）は、独立処理（ESGN-Ind）に比べてMETEORスコアが0.55ポイント向上し、文脈モデリングの利点を示した。
• イベントレベルおよびエピソードレベルの両方の報酬を用いた強化学習（ESGN-SCN-RL）は、最高のMETEORスコア8.82を達成し、二重報酬の有効性を確認した。
• 定性的な結果では、SDVCは「彼ら」などの代名詞や「続く」などの時間的接続詞を正しく使用することで、より一貫性のあるキャプションを生成するのに対し、ベースライン手法は言語的および時間的依存関係を追跡できなかった。
• 音声やオプティカルフローなどの追加モodalを用いない基本的な視覚的特徴のみを用いても、競争力のある結果を達成しており、他の手法を上回った。