[論文レビュー] A CLIP-Enhanced Method for Video-Language Understanding

Guohao Li, Feng He+1 more|arXiv (Cornell University)|Oct 14, 2021

Multimodal Machine Learning Applications参考文献 13被引用数 7

ひとこと要約

本論文は、CLIPの画像・テキスト事前学習知識をタスクに依存しない動画・言語理解フレームワーク（HERO）に統合するCLIP強化手法を提案している。複数の下流タスクにおいて性能が向上し、VALUEベンチマークのメタ平均スコアで2.4%の絶対的向上（60.00 対 57.58）を達成。データ漏洩の影響を除去した後、VATEX-EN-R（+2%）およびVATEX-EN-C（+3%）でも顕著な向上を示した。

ABSTRACT

This technical report summarizes our method for the Video-And-Language Understanding Evaluation (VALUE) challenge (https://value-benchmark.github.io/challenge\_2021.html). We propose a CLIP-Enhanced method to incorporate the image-text pretrained knowledge into downstream video-text tasks. Combined with several other improved designs, our method outperforms the state-of-the-art by $2.4\%$ ($57.58$ to $60.00$) Meta-Ave score on VALUE benchmark.

研究の動機と目的

• CLIPからの画像・テキスト事前学習知識を活用することで、動画・言語理解を向上させること。
• CLIPの能力をリtrievalを超えて、動画QA、キャプション生成、リtrievalなど多様なタスクに拡張すること。
• タスク固有のアーキテクチャ再設計を必要としない、統一的でタスクに依存しないフレームワークを構築すること。
• 複数の動画・テキストタスクにおいて、困難なVALUEベンチマークでSOTA性能を達成すること。

提案手法

• HEROフレームワークのデフォルトのRoBERTaテキストエンコーダを、CLIPの12層・8ヘッドTransformerエンコーダに置き換え、CLIP事前学習重みで初期化する。
• ほとんどのタスクではCLIP-ViT+SlowFast視覚特徴を使用するが、YC2RおよびYC2Cなどの特定のデータセットではResNet+SlowFastに切り替える。
• タスク固有のファインチューニング戦略を適用：QAタスクには全タスク学習（AT）を、それ以外のタスクには単一タスク学習（ST）を用い、パフォーマンス最適化を図る。
• VATEXタスクを除き、事前学習済みHERO重みでモデルを初期化する。
• YC2R、YC2C、TVCタスクの訓練および検証セットでファインチューニングを行い、データ漏洩やアンサンブル手法を回避する。
• タスク間で一貫したモデルアーキテクチャを維持しつつ、テキストエンコーダおよびファインチューニングプロトコルのみを調整する。

実験結果

リサーチクエスチョン

• RQ1 CLIPの画像・テキスト事前学習知識は、リtrievalを超える多様な動画・言語タスクへ効果的に転送可能か？
• RQ2 動画・言語理解において、CLIP強化テキストエンコーディングは標準のRoBERTaベースエンコーダーより優れているか？
• RQ3 異なる動画・言語タスクにおいて、最適なパフォーマンスをもたらすファインチューニング戦略（ST対AT）は何か？
• RQ4 検証セット内のデータ漏洩アーティファクトを除外した場合、CLIP統合によるパフォーマンス向上は持続的か？

主な発見

• 提案手法はVALUEベンチマークで60.00のメタ平均スコアを達成し、以前のSOTA（57.58）に対して2.4%の絶対的向上を示した。
• VATEX-EN-R検証セットでは68.68を達成し、データ漏洩の影響を除去した後、最高のフェアベースライン（65.62）より2%向上した。
• VATEX-EN-C検証セットでは61.36を達成し、最高のフェアベースライン（56.19）より3%向上した。
• データ漏洩の影響による高スコアが報告されたVATEX-EN-Rタスクを除き、すべてのタスクでベースラインを上回った。
• How2やTVなどのデータセットでは、CLIPの事前学習分布からのドメインシフトのため、一般化に失敗した可能性がある。
• 追加データ、特徴量、アンサンブル技術を一切使用せず、アーキテクチャ的・訓練戦略的改善のみでSOTA性能を達成した。