[論文レビュー] Video-Text Pre-training with Learned Regions

Rui Yan, Mike Zheng Shou+5 more|arXiv (Cornell University)|Dec 2, 2021

Multimodal Machine Learning Applications参考文献 70被引用数 7

ひとこと要約

本論文では、オブジェクト検出器を用いずに生の動画特徴から特徴的な視覚的領域を暗黙的に学習する自己教師ありモジュール、RegionLearnerを提案する。パッチ特徴を意味的クラスタに量子化し、領域集約用の学習可能なマスクを適用し、領域間の相互作用をモデル化することで、MSVDで最大10.3% R@1の向上を達成し、既存の方法（市販の検出器やフレームレベル特徴に依存）を上回る性能を発揮する。

ABSTRACT

Video-Text pre-training aims at learning transferable representations from large-scale video-text pairs via aligning the semantics between visual and textual information. State-of-the-art approaches extract visual features from raw pixels in an end-to-end fashion. However, these methods operate at frame-level directly and thus overlook the spatio-temporal structure of objects in video, which yet has a strong synergy with nouns in textual descriptions. In this work, we propose a simple yet effective module for video-text representation learning, namely RegionLearner, which can take into account the structure of objects during pre-training on large-scale video-text pairs. Given a video, our module (1) first quantizes visual features into semantic clusters, then (2) generates learnable masks and uses them to aggregate the features belonging to the same semantic region, and finally (3) models the interactions between different aggregated regions. In contrast to using off-the-shelf object detectors, our proposed module does not require explicit supervision and is much more computationally efficient. We pre-train the proposed approach on the public WebVid2M and CC3M datasets. Extensive evaluations on four downstream video-text retrieval benchmarks clearly demonstrate the effectiveness of our RegionLearner. The code will be available at https://github.com/ruiyan1995/Region_Learner.

研究の動機と目的

• 動画・テキスト事前学習におけるフレームレベルの視覚的特徴抽出の限界、すなわち空間的・時間的オブジェクト構造を無視することを解決すること。
• 高価で品質依存性の高い市販のオブジェクト検出器に依存しない領域特徴抽出を排除すること。
• 生の動画パッチから意味のある視覚的領域を暗黙的に学習できる軽量でエンドツーエンド微分可能なモジュールを開発すること。
• 学習済み視覚的領域間の相互作用をモデル化することで、動画・テキスト表現学習を向上させること。
• 明示的教師信号を用いずに、下流の動画・テキスト検索ベンチマークで最先端の性能を達成すること。

提案手法

• 量子化：動画フレームからの視覚的特徴を、学習可能なコードブックを用いて離散的な意味的表現にクラスタリングする。
• 集約：学習可能な領域マスクを適用して、同じ意味的領域に属する特徴をグループ化し、特徴学習を集中化する。
• 相互作用：1層の相互作用モジュールを用いて、集約済みの領域特徴間の空間的・時間的相互作用をモデル化し、表現理解を強化する。
• RegionLearnerモジュール全体は微分可能であり、プラグアンドプレイであり、さまざまな動画およびテキストエンコーダーと互換性を持つ。
• 境界ボックスのアノテーションや事前学習済みのオブジェクト検出器を必要とせず、生の動画ピクセル上でエンドツーエンドで動作する。
• WebVid2M や CC3M などの大規模データセットで、動画・テキスト対照的学習目的と同時に学習される。

実験結果

リサーチクエスチョン

• RQ1 生の動画パッチから暗黙的かつ自己教師ありで領域学習をすることで、動画・テキスト表現の整合性が向上するか？
• RQ2 RegionLearnerは、市販のオブジェクト検出器を用いる手法と比較して、動画・テキスト事前学習でどの程度の性能を発揮するか？
• RQ3 リtrieバル性能を最大化するために最適な学習領域数と相互作用の深さは何か？
• RQ4 明示的教師信号が欠如することで、モデルが意味的に意味のある領域を学習する能力が損なわれるか？
• RQ5 フレームレベル特徴抽出と比較して、領域ベースの特徴集約は、下流の動画・テキスト検索をどの程度向上させるか？

主な発見

• RegionLearnerは、ベースモデルと比較して、MSR-VTT 1K-AベンチマークでR@1に5.3%の絶対的向上を達成した。
• MSVDベンチマークでは、R@1に10.3%の絶対的向上を達成し、先行する最先端手法を顕著に上回った。
• アブレーションスタディの結果、領域集約が性能向上に最も寄与しており、ベースモデル比で最大2.0%の向上を示した。
• 最適な領域数はK=8と判明した。領域数が少なすぎても多すぎても性能が低下した。
• 1層の領域間相互作用が最良の結果をもたらした。より深い相互作用は、事前学習データで過学習を引き起こした。
• 可視化により、RegionLearnerが前面のオブジェクトと特徴的な背景の詳細を効果的に捉えていることが確認された。失敗事例では、ノイズが多いか、動画・テキストペアがずれた場合に限界が見られた。