[論文レビュー] A Hierarchical Multi-Modal Encoder for Moment Localization in Video Corpus

Bowen Zhang, Hexiang Hu+6 more|arXiv (Cornell University)|Nov 18, 2020

Multimodal Machine Learning Applications参考文献 39被引用数 19

ひとこと要約

本稿では、映像のフレームレベルとクリップレベルの表現を、マルチモーダルなアテンションを用いて統合的にモデル化することで、未編集動画コーパスにおけるモーメントロケーションを向上させる階層的マルチモーダルエンコーダー HAMMER を提案する。複数のタスクフレームワークにおいて動画検索、時系列ロケーション、マスキング言語モデルを統合することで、HAMMER は ActivityNet Captions および TVR データセットで最先端の性能を達成し、長時間の動画に対して高いロバスト性を示し、フラットベースラインと比較してロケーション精度が向上している。

ABSTRACT

Identifying a short segment in a long video that semantically matches a text query is a challenging task that has important application potentials in language-based video search, browsing, and navigation. Typical retrieval systems respond to a query with either a whole video or a pre-defined video segment, but it is challenging to localize undefined segments in untrimmed and unsegmented videos where exhaustively searching over all possible segments is intractable. The outstanding challenge is that the representation of a video must account for different levels of granularity in the temporal domain. To tackle this problem, we propose the HierArchical Multi-Modal EncodeR (HAMMER) that encodes a video at both the coarse-grained clip level and the fine-grained frame level to extract information at different scales based on multiple subtasks, namely, video retrieval, segment temporal localization, and masked language modeling. We conduct extensive experiments to evaluate our model on moment localization in video corpus on ActivityNet Captions and TVR datasets. Our approach outperforms the previous methods as well as strong baselines, establishing new state-of-the-art for this task.

研究の動機と目的

• 自然言語クエリを用いて、長時間の未編集動画内に存在する短い意味的に関連する動画セグメントをローカライズする課題に対処すること。
• 正確なロケーションのためのフレームレベルと、効率的な検索のためのクリップレベルという、複数の時間的粒度で動画理解を向上させること。
• 動画検索、モーメントロケーション、マスキング言語モデルの最適化を統合的に最適化する統一モデルの開発。
• 複数モodal 間の階層的表現学習を可能にすることで、動画コーパス検索における計算複雑性を低減すること。
• 不要なコンテンツが増加する長時間の動画において、フラットモデルが著しく性能を落とす状況でも、ロバストな性能を示すことを実証すること。

提案手法

• HAMMER は2段階の階層的エンコーダーを採用：フレームレベルのトランスフォーマーエンコーダーと、フレームレベル特徴量の上に構築されたクリップレベルエンコーダー。
• テキストクエリと視覚的・ASR特徴量の間で、フレーム、クリップ、およびフルビデオの3段階のマルチモーダルアテンションを適用し、モダリティを整合させる。
• 視覚的特徴量は I3D および ResNet-152 モデルを用いて 3 FPS で抽出され、3072次元のベクトルに連結される。ASR埋め込みは RoBERTa から得られ、1.5秒ごとにマックスプーリングされる。
• 動画検索、時系列ロケーション、マスキング言語モデルの3つのタスクを統合したマルチタスク学習目的関数を用い、共同表現学習を向上させる。
• マルチモーダル統合のため、クエリ表現は視覚的特徴量と ASR 特徴量の両方にアテンションを適用し、それらを連結・正規化した後、下流タスクに使用する。
• Adam 最適化アルゴリズムを用い、線形ウォームアップとコサインスケジュールの学習率を採用し、エンドツーエンドで訓練する。入力シーケンスの長さは ActivityNet では 128 フレーム、TVR では 96 フレームに制限される。

実験結果

リサーチクエスチョン

• RQ1 フラットで単一の粒度を持つモデルと比較して、階層的マルチモーダルエンコーダーは未編集動画コーパスにおけるモーメントロケーションをどのように改善するか？
• RQ2 クリップレベルの表現が、長時間の動画における検索およびロケーション性能をどのように向上させるか？
• RQ3 マスキング言語モデルを含むマルチタスク学習が、動画・テキスト表現の質をどの程度向上させるか？
• RQ4 不要なコンテンツが増加する長時間の動画において、フラットモデルが著しく性能を落とす状況でも、モデルの性能はどの程度維持されるか？
• RQ5 視覚的特徴量と ASR 特徴量の両者が、最終的なロケーション精度に果たす相対的寄与度はどの程度か？

主な発見

• HAMMER は、動画検索、単一動画内でのモーメントロケーション、動画コーパス内でのモーメントロケーションという3つのタスクにおいて、ActivityNet Captions および TVR データセットで最先端の性能を達成した。
• 特に長時間の動画において、フラットモデルが不要なコンテンツの影響で著しく性能を落とす状況でも、強力なベースラインを上回る性能を示した。
• 階層的設計により、動画長が変化しても安定した性能を示し、動画長が延びても精度の低下が最小限に抑えられた。
• アブレーションスタディの結果、クリップレベルの表現が正確なロケーションに不可欠であることが確認され、クリップエンコーダーがフレームエンコーダーの誤りを是正するケースが多かった。
• ASR 特徴量の追加により、視覚的コンテンツが曖昧なケースで TVR での性能が向上し、補完的な言語的文脈を提供した。
• マスキング言語モデルを含むマルチタスク目的関数により、文脈を反映した表現の質が向上し、タスク間の一般化性能が向上した。