[論文レビュー] Exploring Temporal Granularity in Self-Supervised Video Representation Learning

Rui Qian, Yeqing Li+8 more|arXiv (Cornell University)|Dec 8, 2021

Human Pose and Action Recognition被引用数 4

ひとこと要約

本論文は、長時間クリップと短時間クリップのペア内の密集した時間的埋め込みとそのグローバル埋め込みを対比することで、微細な時間的特徴と持続的時間的特徴の両方を同時に最適化する自己教師あり動画表現学習フレームワークTeGを提案する。TeGは8つの動画ベンチマークで最先端の性能を達成し、タスク固有の時間的粒度に適応することで、大多数のタスクで教師あり事前学習を上回った。

ABSTRACT

This work presents a self-supervised learning framework named TeG to explore Temporal Granularity in learning video representations. In TeG, we sample a long clip from a video and a short clip that lies inside the long clip. We then extract their dense temporal embeddings. The training objective consists of two parts: a fine-grained temporal learning objective to maximize the similarity between corresponding temporal embeddings in the short clip and the long clip, and a persistent temporal learning objective to pull together global embeddings of the two clips. Our study reveals the impact of temporal granularity with three major findings. 1) Different video tasks may require features of different temporal granularities. 2) Intriguingly, some tasks that are widely considered to require temporal awareness can actually be well addressed by temporally persistent features. 3) The flexibility of TeG gives rise to state-of-the-art results on 8 video benchmarks, outperforming supervised pre-training in most cases.

研究の動機と目的

• 異なる動画タスクが、時間的粒度の異なる特徴を必要とすることを調査すること。
• 従来の自己教師あり動画手法が時間的持続性のみを重視するという限界を解決し、微細な時間的タスクで性能が劣ることが多いこと。
• 微細な時間的特徴と持続的特徴の両方を同時に学習できる柔軟なフレームワークの開発。
• 時間的に持続的特徴が、かつて微細な時間的認識を必要とされていたタスクにおいても十分に強力であることを示すこと。
• タスク固有の時間的粒度に適応することで、多様な動画ベンチマークで最先端の結果を達成すること。

提案手法

• 動画から、ある長時間クリップとその中にある完全に含まれる短時間クリップをサンプリングする。
• 最終的な時間平均プーリングを実行しないように動画エンコーダーに両クリップを入力することで、時間的分解能を保持する。
• エンコーディングされた特徴を、微細な時間的学習用と持続的グローバル学習用の2つの別々の埋め込み空間に投影する。
• 短時間クリップと長時間クリップの対応する時間的埋め込み間の密集型対比損失を適用し、微細な時間的識別性を促進する。
• 両クリップのプールドグローバル埋め込み間のグローバル対比損失を適用し、時間的持続性を強制する。
• 学習可能な損失重みαを用いて2つの目的をバランスさせ、下流タスクのニーズに応じてどちらの粒度を優先するかを柔軟に制御する。

実験結果

リサーチクエスチョン

• RQ1 異なる動画理解タスクは、時間的粒度の異なる特徴を必要としているか？
• RQ2 時間的に持続的特徴のみで、かつて微細な時間的認識を必要とされていたタスクにおいても強力な性能が達成できるか？
• RQ3 タスク固有の再トレーニングなしに、統一された自己教師ありフレームワークが微細な時間的特徴と持続的特徴の両方を効果的に学習できるか？
• RQ4 サンプリング戦略と時間的集約設計が、学習された特徴の質にどのように影響するか？
• RQ5 さまざまな下流タスクにおいて、微細な時間的学習と持続的学習の目的の最適なトレードオフは何か？

主な発見

• 異なる動画タスクは、時間的粒度の異なる特徴を必要としている：微細な特徴はVidSituイベント分類で2.8%、Kinetics-GEBDで2.4%の性能向上をもたらすが、動画レベル認識と時空間局所化では持続的特徴が優れている。
• かつて微細な時間的認識を必要とすると考えられていたタスク、例えばKinetics上の動画レベル行動認識では、時間的に持続的特徴が実際にはより優れた性能を示し、従来の仮定に疑問を呈する。
• TeG-PS（持続的特徴のみ）は、同じR3D-50バックボーンを用いてAVA-Kineticsで8.9 mAPの向上を達成し、教師あり事前学習を上回った。
• TeG-FG（微細な特徴のみ）は、Kineticsで27.7 mAP、AVA-Kineticsで28.7 mAPを達成し、先行する非教師あり手法を上回り、微細な時間的学習の有効性を示した。
• アブレーションスタディにより、損失重みαは慎重にチューニングする必要があることが確認された：α = 0.9が両目的をバランスさせる最適値であり、α = 1.0（完全に微細な特徴）は持続的タスクの性能を損なう。
• 提案されたサンプリング戦略（長時間クリップとその中に含まれる短時間クリップ）は、最高の性能（VidSituで31.1）を達成し、対称的な短時間同士のサンプリング（27.4）やランダムサンプリング（26.9）を上回った。