[論文レビュー] Temporal Contrastive Graph for Self-supervised Video Representation Learning.

Yang Liu, Keze Wang+2 more|arXiv (Cornell University)|Jan 4, 2021

Human Pose and Action Recognition参考文献 36被引用数 5

ひとこと要約

本論文では、混合グラフ対照学習フレームワークを通じて、局所的および全体的時間的関係を活用する自己教師あり動画表現学習手法であるTemporal Contrastive Graph (TCG) を提案する。マスクされたグラフビューと適応的スニペット順序予測モジュールを用いて時間的順序をモデル化することで、TCG はアクション認識および動画検索ベンチマークで最先端の性能を達成する。

ABSTRACT

Attempt to fully discover the temporal diversity and global-local chronological characteristics for self-supervised video representation learning, this work takes advantage of the temporal structure of videos and further proposes a novel self-supervised method named Temporal Contrastive Graph (TCG). In contrast to the existing methods that randomly shuffle the video frames or video snippets within a video, the TCG roots in a hybrid graph contrastive learning strategy to regard the inter-snippet and intra-snippet temporal relationships as self-supervision signals for temporal representation learning. To increase the temporal diversity of features, the TCG integrates the prior knowledge about the frame and snippet orders into temporal contrastive graphs, i.e., the intra-/inter- snippet temporal contrastive graph modules. By randomly removing edges and masking node features of the intra-snippet graphs or inter-snippet graphs, the TCG can generate different correlated graph views. Then, specific contrastive losses are designed to maximize the agreement between node embeddings in different views. To learn the global context representation and recalibrate the channel-wise features adaptively, we introduce an adaptive video snippet order prediction module, which leverages the relational knowledge among video snippets to predict the actual snippet orders. Experimental results demonstrate the superiority of our TCG over the state-of-the-art methods on large-scale action recognition and video retrieval benchmarks.

研究の動機と目的

• 自己教師あり動画表現学習における時間的多様性およびグローバル・ローカル時間的構造の限られた活用を是正すること。
• 局所的および全体的時間的関係を自己教師信号としてモデル化することで特徴表現を向上させること。
• 時間的対照グラフにおけるエッジ削除および特徴マスキングを通じて、特徴の多様性と耐性を向上させること。
• スニペット間の関係的知識を活用して実際の動画スニペット順序を予測することで、グローバルな文脈表現を学習すること。
• 従来の自己教師あり手法と比較して、大規模なアクション認識および動画検索ベンチマークで優れた性能を達成すること。

提案手法

• 動画スニペット内の局所的およびスニペット間の全体的時間的依存関係をモデル化するため、イントラスニペットおよびインタースニペット時間的対照グラフを構築する。
• 複数の相関するグラフビューを生成するため、ランダムなエッジ削除とノード特徴マスキングを適用する。
• 異なるグラフビュー間のノード埋め込みの一致を最大化するための特定の対照損失関数を設計する。
• スニペット間の関係的知識を活用して実際のスニペット順序を予測する、適応的スニペット順序予測モジュールを導入する。
• フレームおよびスニペット順序に関する事前知識をグラフ構築に統合して、時間的構造を保持する。
• 予測されたスニペット順序を補助的教師信号として用い、チャネルごとの特徴を再キャリブレーションすることで表現品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり動画表現学習において、時間的多様性およびグローバル・ローカル時間的構造を効果的に活用する方法は何か？
• RQ2 混合グラフ対照学習フレームワークは、イントラスニペットおよびインタースニペット時間的関係をモデル化することで、特徴学習を向上させ得るか？
• RQ3 フレームおよびスニペット順序に関する事前知識を組み込むことで、表現品質はどの程度向上するか？
• RQ4 適応的スニペット順序予測モジュールは、グローバル文脈モデリングおよび特徴再キャリブレーションを向上させ得るか？
• RQ5 提案手法は、アクション認識および動画検索ベンチマークで最先端の性能を達成するか？

主な発見

• TCG は、最先端の自己教師あり手法と比較して、大規模なアクション認識ベンチマークで優れた性能を達成する。
• 本手法は動画検索ベンチマークでも強力な汎化性能を示しており、堅牢で判別力のある特徴学習が実現していることを示している。
• アブレーションスタディにより、イントラスニペットおよびインタースニペット対照学習の両成分が性能向上に顕著に寄与することが確認された。
• 適応的スニペット順序予測モジュールは、動画スニペット間の関係的知識を捉えることで、特徴表現を向上させた。
• グラフビューにおけるマスキングおよびランダムエッジ削除は、特徴の多様性を向上させ、摂動に対して耐性を高めた。
• 時間的順序事前知識をグラフ構造に統合することで、より一貫性があり意味的に明確な表現が得られた。