[論文レビュー] Activitynet 2019 Task 3: Exploring Contexts for Dense Captioning Events in Videos

Shizhe Chen, Yuqing Song+6 more|arXiv (Cornell University)|Jul 11, 2019

Multimodal Machine Learning Applications参考文献 10被引用数 9

ひとこと要約

本稿では、密度高い動画字幕生成のための5つの文脈タイプ—セグメントレベル、局所的、グローバル、イベント、文レベルの文脈—の体系的評価を提案する。イントライベントおよびインターリイベントの字幕生成モデルを導入し、イントライベントモデルは局所的およびグローバル文脈を効果的に活用することで、ActivityNet 2019 チャレンジで最先端の性能（9.91 METEOR）を達成している。一方、インターリイベントモデルは速度の低下とわずかな精度の低下を犢に、字幕の多様性を向上させている。

ABSTRACT

Contextual reasoning is essential to understand events in long untrimmed videos. In this work, we systematically explore different captioning models with various contexts for the dense-captioning events in video task, which aims to generate captions for different events in the untrimmed video. We propose five types of contexts as well as two categories of event captioning models, and evaluate their contributions for event captioning from both accuracy and diversity aspects. The proposed captioning models are plugged into our pipeline system for the dense video captioning challenge. The overall system achieves the state-of-the-art performance on the dense-captioning events in video task with 9.91 METEOR score on the challenge testing set.

研究の動機と目的

• 異なる文脈情報タイプが密度高い動画字幕生成性能に与える寄与を体系的に評価すること。
• 従来の動画字幕生成モデルが文脈認識を欠いているため、精度と多様性に劣るという問題を是正すること。
• イベント記述生成における精度と多様性の観点から、イントライベントおよびインターリイベントの字幕生成モデルを比較すること。
• METEORベースの評価指標に注目し、ActivityNet 2019 チャレンジ向けに密度高い動画字幕生成パイプラインを最適化すること。
• 未加工動画における正確で多様なイベント字幕を生成するための、最も効果的な文脈タイプおよびモデリング戦略を同定すること。

提案手法

• セグメントレベル、局所的、グローバル、イベント、文レベルの5つの異なる文脈タイプを提案。各タイプはイベント表現の豊かさを高めることを目的として設計されている。
• イントライベント（各イベントごとに独立）とインターリイベント（他のイベントに依存）の2つのカテゴリの字幕生成モデルを設計。並列処理が可能で、文脈に配慮した生成が可能になる。
• LSTMベースの特徴符号化を用いて、グローバルな動画文脈をセグメントレベル特徴に暗黙的に統合する。
• ターゲットイベントの周囲の局所的時間的領域を文脈として統合し、理解を深めるための前件と結果を提供する。
• 2段階フレームワーク（イベントプロポーザル生成 → 文脈に配慮した字幕生成）を用いて、イベントプロポーザルを取得する。
• 訓練段階で強化学習とデータ拡張を適用し、字幕品質と耐障害性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 局所的、グローバル、イベント、文、セグメントレベルの各文脈タイプは、密度高い動画字幕生成の精度と多様性にどのように寄与するか？
• RQ2 METEORスコアと字幕の多様性という観点から、イントライベントモデルとインターリイベントモデルの相対的性能はいかほどか？
• RQ3 視覚的文脈に加えて文の文脈を組み込むことで、字幕の整合性と多様性はどの程度向上するか？
• RQ4 グローバル文脈を組み込むことで字幕生成性能は向上するのか、それとも不要な情報が混入し多様性を低下させるのか？
• RQ5 強化学習やデータ拡張といった訓練戦略は、ActivityNetベンチマークにおける最終的な字幕生成性能にどのように影響するか？

主な発見

• 局所的およびグローバル文脈を組み込んだイントライベントモデルが、テストセットで最高のMETEORスコア9.91を達成し、最先端の性能を確立した。
• インターリイベントモデルは、特にSelfB2およびRE2指標において、イントライベントモデルよりも顕著に多様な字幕を生成しており、類似したプロポーザル間の細分化能が向上していることが示された。
• 局所的文脈とセグメントレベル特徴が、精度と多様性の両面で最も一貫した向上効果を示した。一方、グローバル文脈は関連のない情報が混入するため、多様性をわずかに低下させた。
• 文の文脈は整合性を向上させるが、イベント文脈ほど効果的ではなく、順序依存性のため訓練および推論時間が増加した。
• 強化学習とデータ拡張により、明確な向上が得られ、METEORは12.10（CrossEntropy）から14.29（両技術併用時）に上昇した。
• プロポーザル再ランク付けと字幕再ランク付けによりさらなる性能向上が達成され、拡大した訓練セットで12.24 METEORを達成。アンサンブルモデリングの利点を示している。