[論文レビュー] End-to-end Dense Video Captioning as Sequence Generation

Wanrong Zhu, Bo Pang+3 more|arXiv (Cornell University)|Apr 18, 2022

Multimodal Machine Learning Applications被引用数 16

ひとこと要約

本稿では、マルチモodalなTransformerを用いて、イベント検出とキャプション生成を1つのシーケンス・ツー・シーケンスタスクとして統合するエンド・トゥ・エンドの密度付き動画キャプションフレームワークを提案する。セグメンテーションとキャプション生成を両方ともシーケンス生成として定式化することで、大規模な事前学習済みテキストモデル（例：T5）を活用し、YouCook2およびViTTで競争力ある性能を達成した。これにより、統合的モデリングがセグメンテーションの正確性を向上させ、汎用的およびドメイン特化型の事前学習を効果的に活用できることを示した。

ABSTRACT

Dense video captioning aims to identify the events of interest in an input video, and generate descriptive captions for each event. Previous approaches usually follow a two-stage generative process, which first proposes a segment for each event, then renders a caption for each identified segment. Recent advances in large-scale sequence generation pretraining have seen great success in unifying task formulation for a great variety of tasks, but so far, more complex tasks such as dense video captioning are not able to fully utilize this powerful paradigm. In this work, we show how to model the two subtasks of dense video captioning jointly as one sequence generation task, and simultaneously predict the events and the corresponding descriptions. Experiments on YouCook2 and ViTT show encouraging results and indicate the feasibility of training complex tasks such as end-to-end dense video captioning integrated into large-scale pretrained models.

研究の動機と目的

• 分離されたモデルを用いてイベント検出とキャプション生成を行う2段階の密度付き動画キャプションパイプラインの限界を解消すること。
• 密度付き動画キャプションのような複雑なマルチモーダルタスクが、1つのシーケンス生成パラダイムに統合可能かどうかを検討すること。
• タスクをシーケンス生成に再定式化することで、大規模な事前学習済みテキストモデル（例：T5）をエンド・トゥ・エンドの密度付き動画キャプションに活用できるようにすること。
• 一般向け（T5）およびドメイン特化型（WikiHow）の事前学習が、密度付き動画キャプションの性能に与える影響を評価すること。
• 分離したタスク学習と比較して、セグメンテーションとキャプションの統合的モデリングが性能向上に寄与するかどうかを調査すること。

提案手法

• モデルは、ターゲットシーケンスにイベント境界と対応するキャプションを構造化されたトークン形式で符号化することで、密度付き動画キャプションを1つのシーケンス・ツー・シーケンス生成タスクとして扱う。
• 著者らは、時系列境界とキャプションを1つのテキストシーケンスに埋め込むために、SimpleConcat や EmbTime といった複数のタスク定式化を設計した。
• 視覚的特徴（動画フレームから得る）とターゲットシーケンスからのテキスト埋め込みを用いた、マルチモーダルなTransformerエンコーダ・デコーダアーキテクチャを採用した。
• 一般向け（T5）およびドメイン特化型（WikiHow）のテキストコーパスでの事前学習を経て、YouCook2およびViTTで微調整した。
• 分離されたアーキテクチャやパイプラインを必要とせず、1つのデコーダを通じてセグメンテーションとキャプションの両方を統合最適化可能である。
• マルチタスク事前学習をサポートし、大規模なシーケンス生成モデル用に既存のインfraを再利用可能である。

実験結果

リサーチクエスチョン

• RQ1 密度付き動画キャプションが、事前学習済み言語モデルを用いたエンド・トゥ・エンド学習を可能にする1つのシーケンス生成タスクとして効果的にモデル化可能か？
• RQ2 2段階パイプラインと比較して、イベント検出とキャプション生成の統合的モデリングが性能向上に寄与するか？
• RQ3 一般向け（T5）とドメイン特化型（WikiHow）のテキストコーパスでの事前学習が、密度付き動画キャプションに与える影響は何か？
• RQ4 タスクに依存しない事前学習とタスク特化型事前学習の利点を組み合わせられるか？ドメイン特化型データがある状況でも、一般事前学習が依然として有益であるか？
• RQ5 シーケンス定式化の選択（例：SimpleConcat 対 EmbTime）が、モデル性能および学習安定性に与える影響は何か？

主な発見

• 提案されたエンド・トゥ・エンドのシーケンス生成アプローチは、YouCook2およびViTTで競争力ある性能を達成し、セグメンテーション精度において従来の2段階手法を上回った。
• T5およびWikiHowでの事前学習により顕著な性能向上が得られ、両方の組み合わせ（T5 + WikiHow）が最大の向上をもたらした。
• ドメイン特化型の事前学習（WikiHow）を行った後でも、T5での追加事前学習が測定可能な追加的利益をもたらしたため、相乗効果があることが示唆された。
• セグメンテーションとキャプションの統合的モデリングは、分離したタスクに特化したモデルと比較して、セグメンテーションのmIoUを向上させた。
• セグメンテーション予測のIoUが高水準（≥90%）の場合、YouCook2では平均ROUGE-Lスコアが30.18、ViTTでは44.33に達し、正確な検出が可能な場合に高品質なキャプションが得られることを示した。
• EmbTime定式化は一部の設定でSimpleConcatを上回る非自明な改善を示したが、結果は混合的であり、特に事前学習なしの学習から始めると分散が大きかった。