[論文レビュー] COOT: Cooperative Hierarchical Transformer for Video-Text Representation Learning

Simon Ging, Mohammadreza Zolfaghari+2 more|arXiv (Cornell University)|Nov 1, 2020

Multimodal Machine Learning Applications参考文献 81被引用数 75

ひとこと要約

COOT は注意機能を備えた特徴量集約と文脈型トランスフォーマー、およびクロスモーダル循環整合性損失を組み合わせた階層型トランスフォーマーを導入し、長距離時間モデリングが強力な動画-テキスト埋め込みを学習して、最先端の検索・キャプション生成性能を実現します。

ABSTRACT

Many real-world video-text tasks involve different levels of granularity, such as frames and words, clip and sentences or videos and paragraphs, each with distinct semantics. In this paper, we propose a Cooperative hierarchical Transformer (COOT) to leverage this hierarchy information and model the interactions between different levels of granularity and different modalities. The method consists of three major components: an attention-aware feature aggregation layer, which leverages the local temporal context (intra-level, e.g., within a clip), a contextual transformer to learn the interactions between low-level and high-level semantics (inter-level, e.g. clip-video, sentence-paragraph), and a cross-modal cycle-consistency loss to connect video and text. The resulting method compares favorably to the state of the art on several benchmarks while having few parameters. All code is available open-source at https://github.com/gingsi/coot-videotext

研究の動機と目的

• 複数の粒度レベル（フレーム/語、クリップ/文、動画/段落）を活用する共同の動画-テキスト埋め込みを学習する動機づけ。
• 局所レベルの時間文脈を集約し、局所とグローバル意味の間の相互作用をモデリングする仕組みの開発。
• 動画とテキスト表現を結ぶ意味的整合性を循環整合性損失を介して強制する。

提案手法

• Attention-FA：単純なプーリングを置換し、局所レベルの時間的相互作用を捉える注意機能付き特徴量集約層。
• Contextual Transformer（CoT）を提案し、局所（クリップ/文）とグローバル文脈間の相互作用をモデリング。
• クロスモーダル循環整合性損失（CMC）を追加して、クリップと文の意味的整合性をモダリティ間で強制。
• 三レベルの階層型トランスフォーマーを採用：フレーム/語の特徴量の時間的トランスフォーマー、クリップ/文の特徴量の注意ベース集約、最終埋め込みの文脈トランスフォーマー。
• Zhang et al. (2021) に従い、クリップ-文、動画-段落、グローバル文脈レベルでの整合性損失を用い、最終目的関数にCMC損失（8）を組み込む。

実験結果

リサーチクエスチョン

• RQ1 階層的な動画とテキストのモデリングは、クロスモーダル整合性と検索精度をどのように向上させるか？
• RQ2 局所レベルの注意と inter-level の文脈的相互作用は、動画-テキストタスクの表現品質を改善するか？
• RQ3 クロスモーダル循環整合性損失は、動画とテキスト埋め込み間の意味的整合性を改善するか？

主な発見

• COOT は ActivityNet-captions および YouCook2 データセットで最先端の検索性能を達成し、既存手法に対して顕著な改善を示す。
• アブレーション研究は、Attention-FA と Contextual Transformer（CoT）、およびCMC損失が、それぞれ性能向上に寄与することを示す。
• ActivityNet-captions では、COOT は HSE ベースラインに対して平均で最大 16.6% の R@1 改善を示し、パラメータ数は大幅に削減（10.6M、約60%削減）。
• YouCook2 では、HowTo100M で事前学習した特徴を使用した場合に特に他の最近傍手法を上回り、分類事前学習を超えた階層モデリングの恩恵を受ける。
• COOT は、他のキャプション生成パイプラインと比較して入力特徴量を抑えつつ、学習された表現を用いた競争力のある動画キャプション生成結果を示す。