[論文レビュー] Less is More: ClipBERT for Video-and-Language Learning via Sparse Sampling

Jie Lei, Linjie Li+5 more|arXiv (Cornell University)|Feb 11, 2021

Multimodal Machine Learning Applications参考文献 81被引用数 48

ひとこと要約

ClipBERT はトレーニング時に短い動画クリップを疎にサンプリングすることでエンドツーエンドの動画と言語学習を可能にし、密な全動画特徴法と同等かそれ以上の結果を、検索と質問応答タスクで達成する。

ABSTRACT

The canonical approach to video-and-language learning (e.g., video question answering) dictates a neural model to learn from offline-extracted dense video features from vision models and text features from language models. These feature extractors are trained independently and usually on tasks different from the target domains, rendering these fixed features sub-optimal for downstream tasks. Moreover, due to the high computational overload of dense video features, it is often difficult (or infeasible) to plug feature extractors directly into existing approaches for easy finetuning. To provide a remedy to this dilemma, we propose a generic framework ClipBERT that enables affordable end-to-end learning for video-and-language tasks, by employing sparse sampling, where only a single or a few sparsely sampled short clips from a video are used at each training step. Experiments on text-to-video retrieval and video question answering on six datasets demonstrate that ClipBERT outperforms (or is on par with) existing methods that exploit full-length videos, suggesting that end-to-end learning with just a few sparsely sampled clips is often more accurate than using densely extracted offline features from full-length videos, proving the proverbial less-is-more principle. Videos in the datasets are from considerably different domains and lengths, ranging from 3-second generic domain GIF videos to 180-second YouTube human activity videos, showing the generalization ability of our approach. Comprehensive ablation studies and thorough analyses are provided to dissect what factors lead to this success. Our code is publicly available at https://github.com/jayleicn/ClipBERT

研究の動機と目的

• 固定された密に抽出された特徴に頼らず、エンドツーエンドの動画と言語学習を促進する。
• 各動画につき少数の短いクリップで学習する疎サンプリングフレームワークを提案し、メモリと計算量を削減する。
• 画像とテキストの事前学習が動画とテキストのタスクに有益であること、およびエンドツーエンドのファインチューニングが性能を向上させることを実証する。

提案手法

• トレーニング中、各動画につき1つまたは数個の短いクリップを疎にサンプルし、サンプルクリップからの予測を集約する。
• 各サンプルクリップは2D ResNet-50 ビジョンバックステーンでエンコードされ、横断モダリティモジュールの12層トランスフォーマーを用いてテキストと融合される。
• トレーニング中は、タスク固有のファインチューニングのために視覚エンコーダと語学エンコーダを介して勾配を伝搬させる（エンドツーエンド学習）。
• 推論時には、密にサンプリングされたクリップからの予測を集約して最終的なビデオレベルの出力を形成する（例：平均、LogSumExp）。
• 視覚および言語コンポーネントを image-text pre-training (COCO/Visual Genome) から初期化し、下流の video-text タスクでファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 トレーニング時の疎サンプリングは、テキスト対動画検索および動画QAの分野で、密な全動画特徴法と比較して競争力がある、または上回る性能を提供しますか？
• RQ2 画像とテキストの事前学習とエンドツーエンドのファインチューニングは、動画-テキスト理解タスクを改善できますか？
• RQ3 入力解像度、フレーム数、クリップ数が性能と効率に与える影響は何ですか？
• RQ4 クリップ上の集約戦略は最終予測にどのように影響しますか？
• RQ5 疎サンプリングは密サンプリングと比べてメモリ効率が高く、精度を維持または向上させますか？

主な発見

• クリップあたり2フレームの疎サンプリングは、検索およびQAタスクのいずれにおいても、16フレームの密サンプリングと同等かそれを上回ることが多い。
• フレーム間情報を統合する際、ClipBERT では3D畳み込みよりフレーム間の平均プーリングの方が効果的である。
• 推論クリップ数を増やすと一定の点まで性能が向上するが、数クリップを超えるとリターンが低下する。
• 疎なランダムサンプリングは、密な均一サンプリングよりもメモリと計算効率が優れており、精度も良好または同等である。
• 画像-テキスト事前学習（COCO/Visual Genome）は、エンドツーエンドのファインチューニング後に MSRVTT retrieval および MSRVTT-QA の結果を大幅に向上させる。
• エンドツーエンド訓練は、視覚エンコーダまたは言語エンコーダのいずれかを固定するよりも性能が高い。