[論文レビュー] Zero-Shot Dense Video Captioning by Jointly Optimizing Text and Moment

Yongrae Jo, Seongyun Lee+4 more|arXiv (Cornell University)|Jul 5, 2023

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

ZeroTAは、固定されたGPT-2とCLIPを用い、学習可能なソフトモーメントマスクとペairワイズ時間的IoU損失を用いて、テキスト生成とモーメント定位を共同最適化する、新しいゼロショット密度付き動画キャプション手法を提案する。これは、ActivityNet Captionsで最先端の性能を達成しており、わずか1%のデータで微調整されたFew-shot手法でさえも上回っている。さらに、訓練データなしで、ドメイン外の設定でも強く頑健であることが示された。

ABSTRACT

Dense video captioning, a task of localizing meaningful moments and generating relevant captions for videos, often requires a large, expensive corpus of annotated video segments paired with text. In an effort to minimize the annotation cost, we propose ZeroTA, a novel method for dense video captioning in a zero-shot manner. Our method does not require any videos or annotations for training; instead, it localizes and describes events within each input video at test time by optimizing solely on the input. This is accomplished by introducing a soft moment mask that represents a temporal segment in the video and jointly optimizing it with the prefix parameters of a language model. This joint optimization aligns a frozen language generation model (i.e., GPT-2) with a frozen vision-language contrastive model (i.e., CLIP) by maximizing the matching score between the generated text and a moment within the video. We also introduce a pairwise temporal IoU loss to let a set of soft moment masks capture multiple distinct events within the video. Our method effectively discovers diverse significant events within the video, with the resulting captions appropriately describing these events. The empirical results demonstrate that ZeroTA surpasses zero-shot baselines and even outperforms the state-of-the-art few-shot method on the widely-used benchmark ActivityNet Captions. Moreover, our method shows greater robustness compared to supervised methods when evaluated in out-of-domain scenarios. This research provides insight into the potential of aligning widely-used models, such as language generation models and vision-language models, to unlock a new capability: understanding temporal aspects of videos.

研究の動機と目的

• 密度付き動画キャプションの高いアノテーションコストを低減するため、訓練データやアノテーションを一切用いずにゼロショット学習を可能にする。
• 単一の入力動画のみを用いて、テスト時におけるテキスト生成と時間的モーメント定位のエンドツーエンド共同最適化を実現する。
• 学習可能なソフトモーメントマスクとペアワイズ時間的IoU損失を導入することで、複数のイベントの発見を促進し、キャプションの多様性と正確性を向上させる。
• 教師ありモデルが通常失敗するドメイン外の状況においても、頑健性を示すことを確認する。
• 固定された言語モデルとビジョン・言語モデルを統合することで、動画における時間的理解の可能性を探る。

提案手法

• 学習可能な中心位置と幅を持つ、微分可能なソフトモーメントマスクを導入し、動画内の時間的セグメントに注目できるようにする。
• 微分可能であるように、学習可能なプレフィックスパラメータのみを最適化することで、固定されたGPT-2言語モデルを適応させる。
• ソフトモーメントマスクとプレフィックスパラメータを同時に最適化し、生成されたテキストと視覚的特徴の間のCLIP対応スコアを最大化する。
• 視覚的損失（$L_{vision}$）を適用し、CLIPを介して生成されたトークンと視覚的表現を一致させる。
• 言語的損失（$L_{language}$）を適用し、学習済みプレフィックスと動画特徴に基づいて、一貫性のあるキャプションを生成するよう言語モデルを促進する。
• ペアワイズ時間的IoU損失（$L_{ptIoU}$）を導入し、動画内に複数の明確に異なるイベントのモーメントマスクが生成されるように促進する。

実験結果

リサーチクエスチョン

• RQ1 訓練データやアノテーションを一切用いずに、ゼロショット環境で密度付き動画キャプションを達成できるか？
• RQ2 テキスト生成とモーメント定位の共同最適化は、2段階的手法と比較してキャプションの品質と多様性を向上させられるか？
• RQ3 GPT-2とCLIPの両方を固定モデルとして使用する手法が、ベンチマークデータセットで教師ありおよびFew-shot手法を上回ることができるか？
• RQ4 微調整済みの教師ありモデルと比較して、ドメイン外の設定での性能はどの程度か？
• RQ5 ソフトモーメントマスクとペアワイズIoU損失は、動画内に複数の明確に異なるイベントを発見するのに効果的か？

主な発見

• ZeroTAは、ActivityNet Captionsベンチマークで、すべてのゼロショットベースラインを上回り、2.6のCIDEr、7.5のSPICE、2.7のMSpotを達成した。
• 10億フレームの動画・テキストデータで事前学習された、最先端のFew-shot Vid2Seqモデルですら、1%のデータで微調整された場合を上回った。
• YouCook2では、ZeroTAはVid2Seqに劣っている。これは、ZeroTAが一般的なキャプションを生成する一方で、YouCook2はタスク指向の指示を用いているため、スタイルの不一致が原因である。
• ドメイン外の設定において、ZeroTAは優れた頑健性を示し、完全に教師ありモデルが著しく性能を落とす状況でも安定した性能を維持した。
• 訓練データなしでも、テキストとモーメント定位の共同最適化は、2段階的手法よりも効果的であることが示された。
• ペアワイズ時間的IoU損失は、複数の明確に異なるイベントの発見を効果的に促進し、キャプションの多様性を向上させた。