[論文レビュー] CLIP4Caption ++: Multi-CLIP for Video Caption

Mingkang Tang, Zhanyu Wang+3 more|arXiv (Cornell University)|Oct 11, 2021

Multimodal Machine Learning Applications参考文献 13被引用数 4

ひとこと要約

CLIP4Caption++ は、3つの事前学習済み CLIP モデル（ViT-B/32、ViT-B/16、RN50x16）と SlowFast を用いて視覚的特徴抽出を強化し、動画の字幕を統合して意味的豊かさを向上させ、TSNに基づくデータ拡張を適用し、語彙レベルおよび文レベルのアンサンブル戦略を採用するマルチ-CLIP 動画字幕生成フレームワークを提案する。本手法は、VATEX で 86.5 の CIDEr、YC2C で 148.4、TVC で 64.5 を達成し、VALUE Challenge 2021 の字幕生成タスクで1位を獲得した。

ABSTRACT

This report describes our solution to the VALUE Challenge 2021 in the captioning task. Our solution, named CLIP4Caption++, is built on X-Linear/X-Transformer, which is an advanced model with encoder-decoder architecture. We make the following improvements on the proposed CLIP4Caption++: We employ an advanced encoder-decoder model architecture X-Transformer as our main framework and make the following improvements: 1) we utilize three strong pre-trained CLIP models to extract the text-related appearance visual features. 2) we adopt the TSN sampling strategy for data enhancement. 3) we involve the video subtitle information to provide richer semantic information. 3) we introduce the subtitle information, which fuses with the visual features as guidance. 4) we design word-level and sentence-level ensemble strategies. Our proposed method achieves 86.5, 148.4, 64.5 CIDEr scores on VATEX, YC2C, and TVC datasets, respectively, which shows the superior performance of our proposed CLIP4Caption++ on all three datasets.

研究の動機と目的

• 複数の強力な事前学習済み CLIP モデルを用いて視覚的特徴表現を向上させることで、動画字幕生成の性能を向上させること。
• 動画の字幕情報をキャプションモデルに統合することで、意味的理解を豊かにすること。
• TSNに基づくフレームサンプリングを用いてデータ拡張を実施し、訓練の一般化性能を向上させること。
• 語彙レベルおよび文レベルのアンサンブル戦略を採用することで、モデルの頑健性と出力品質を向上させること。
• 追加の事前学習やデータを用いずに、ベンチマーク動画字幕生成データセットで最先端の性能を達成すること。

提案手法

• 64フレームのクリップから、CLIP(ViT-B/32)、CLIP(ViT-B/16)、CLIP(RN50x16) の3つの事前学習済み CLIP モデルを用いて、マルチスケールでテキストに整合した視覚的特徴を抽出する。
• ResNet-50 を用いた SlowFast(8x8) を用いて、異なるフレームレートで別々のスローパathとファストパスで運動特徴を抽出する。
• 訓練中に TSN サンプリングを適用し、K 個のセグメントに分けた各セグメントから1フレームをランダムに抽出することで、データの多様性を高め、一般化性能を向上させる。
• トークン化および埋め込み処理を施した動画の字幕を視覚的特徴と統合し、共有の埋め込み層とトークンタイプ埋め込みを用いてモodal 間を区別する。
• 視覚的特徴とテキスト的特徴を連結し、トークンタイプ埋め込みを介して統合した後、X-Linear/X-Transformer のエンコーダ-デコーダアーキテクチャに供給する。
• 2段階の訓練パイプラインを実装する：第1段階で強化された特徴を用いた事前学習、第2段階で SCST を用いた微調整により、CIDEr スコアを直接最適化する。

実験結果

リサーチクエスチョン

• RQ1 複数の事前学習済み CLIP モデルを組み合わせることで、動画字幕生成のための視覚的表現品質が向上するか？
• RQ2 動画の字幕情報を統合することで、生成されたキャプションの意味的豊かさはどのように変化するか？
• RQ3 TSNに基づくサンプリングは、動画字幕生成におけるモデルの一般化性能をどの程度向上させるか？
• RQ4 語彙レベルおよび文レベルのアンサンブル戦略は、単一モデル出力よりも顕著にキャプション品質を向上させられるか？
• RQ5 SCST を用いたエンドツーエンドの微調整は、標準的な監視学習に比べて CIDEr スコアを向上させるか？

主な発見

• アンサンブルモデルは VATEX テストセットで 86.5 の CIDEr を達成し、以前の最先端手法を上回った。
• YC2C では 148.4 の CIDEr を達成し、大規模かつ多様な動画字幕生成ベンチマークで強力な性能を示した。
• TVC では 64.5 の CIDEr を達成し、特性が異なる複数のデータセットにわたる頑健性を示した。
• アブレーションスタディの結果、SCST の微調整によりベースラインから CIDEr が 24.1% 向上した。これは、目的の指標を最適化する有効性を示している。
• 字幕情報の追加により CIDEr が 0.8 ポints 向上した。これは、意味的文脈の豊かさを高める価値があることを示している。
• 語彙レベルおよび文レベルのアンサンブル戦略を併用することで、ベースラインから CIDEr が 31.2% 向上した。これは、最終出力品質の向上に有効であることを証明している。