[論文レビュー] Self-Supervised Learning for Videos: A Survey

Madeline C. Schiappa, Yogesh Singh Rawat+1 more|arXiv (Cornell University)|Jun 18, 2022

Music and Audio Processing被引用数 5

ひとこと要約

本サーベイは、動画の自己教師あり学習（SSL）について包括的なレビューを提供し、前処理タスク、生成的学習、対照的学習、クロスモodal整合性の4つのカテゴリに手法を分類している。マルチモーダルアプローチの利点を強調し、標準的なベンチマークの欠如やモデルの解釈可能性の不足といった主な課題を特定し、長期的動画表現、エンドツーエンド学習、動画SSLにおける堅牢な評価フレームワークの今後の方向性を示している。

ABSTRACT

The remarkable success of deep learning in various domains relies on the availability of large-scale annotated datasets. However, obtaining annotations is expensive and requires great effort, which is especially challenging for videos. Moreover, the use of human-generated annotations leads to models with biased learning and poor domain generalization and robustness. As an alternative, self-supervised learning provides a way for representation learning which does not require annotations and has shown promise in both image and video domains. Different from the image domain, learning video representations are more challenging due to the temporal dimension, bringing in motion and other environmental dynamics. This also provides opportunities for video-exclusive ideas that advance self-supervised learning in the video and multimodal domain. In this survey, we provide a review of existing approaches on self-supervised learning focusing on the video domain. We summarize these methods into four different categories based on their learning objectives: 1) pretext tasks, 2) generative learning, 3) contrastive learning, and 4) cross-modal agreement. We further introduce the commonly used datasets, downstream evaluation tasks, insights into the limitations of existing works, and the potential future directions in this area.

研究の動機と目的

• 既存のサーベイが主に画像に焦点を当てているのに対し、動画表現学習に特化した自己教師あり学習アプローチの体系的レビューを提供すること。
• 最近の動画SSL手法を、前処理タスク、生成的学習、対照的学習、クロスモダリティ整合性の4つの学習目的タイプに分類・分析すること。
• 現在の動画SSL研究における主な制限要因、特に標準化されたベンチマークの欠如、事前学習済み視覚エンコーダーへの依存、学習済み表現の解釈可能性の不足を特定すること。
• ゼロショット学習の状況において特に顕著なように、動画・音声・テキストのマルチモーダル学習の重要性が高まっていることを強調すること。
• 今後の研究方向性として、長期的動画モデリング、エンドツーエンドトレーニング、解釈性の向上、評価のための堅牢なベンチマークフレームワークを提案すること。

提案手法

• 本論文は、学習目的に基づいて、既存の動画SSL手法を4つのカテゴリに分類している：前処理タスク、生成的学習、対照的学習、クロスモダリティ整合性。
• 標準的な動画データセット（Kinetics、Something-Something、YouCook2）を用いて手法を評価し、アクション認識、アクションリtrieval、テキスト対動画リtrievalといった下流タスクをベンチマークにしている。
• 時間的モデリングの影響を分析するため、運動や時間的ダイナミクスを明示的に組み込む手法と、動画を静的フレームとして扱う手法を比較している。
• 単モーダル（動画のみ）とマルチモーダル（動画・音声・テキスト）アプローチを比較し、データ拡張を必要としないにもかかわらず、クロスモダリティ整合性が性能向上に寄与することを強調している。
• t-SNE可視化を用いてマルチモーダルモデルの共同埋め込み空間を分析し、高い性能にもかかわらず、異なるモダリティ（例：動画とテキスト）の特徴が埋め込み空間で空間的に離れていることが判明している。
• メソドロジーには、事前学習プロトコル、バックボーンアーキテクチャ（例：I3D、Vision Transformers）、データ拡張戦略の批判的レビューが含まれている。

実験結果

リサーチクエスチョン

• RQ1 前処理タスク、生成的学習、対照的学習、クロスモダリティ整合性といった異なる自己教師あり学習目的は、どのように動画表現を学習するか？
• RQ2 時間的一致性が保たれる場合、画像ベースのデータ拡張技術は動画SSLにどの程度一般化可能か？
• RQ3 動画・音声・テキストのマルチモーダルアプローチは、単モーダルの動画のみの手法と比べて、性能と頑健性の面でどのように異なるか？
• RQ4 ベンチマークの欠如、モデルの解釈性、ドメイン間での一般化性といった点で、現在の動画SSL研究における主な制限要因は何か？
• RQ5 自己教師あり動画表現学習を前進させるために、最も重要な今後の研究方向性は何か？

主な発見

• VideoClip や UniVL といったマルチモーダル自己教師あり学習アプローチは、テキスト対動画リtrieバルタスクで最先端の性能を達成し、MIL-NCE などの単モーダルモデルを上回っている。
• 時間的データ拡張を組み込む対照的学習手法は、空間的拡張に依存する手法と同等またはそれ以上の性能を示しており、時間的一致性が重要であることが示唆されている。
• 動画再構成やフレーム順序予測といった前処理タスクは、運動や時間的ダイナミクスを活用することで、特に優れた性能を示している。
• ゼロショットアクション認識において、マルチモーダルモデルと単モーダルモデルの間には顕著な性能差が認められ、クロスモダリティ整合性が一般化性能を向上させていることが示唆されている。
• 高い性能を達成しているにもかかわらず、現在のモデルはしばしば解釈性に欠け、t-SNE可視化では異なるモダリティ（例：動画とテキスト）の特徴が埋め込み空間で空間的に離れていることが確認されている。
• 標準化されたベンチマークや一貫した評価プロトコルの欠如が、手法間の公平な比較を妨げており、分布シフトに対する耐性は動画SSLにおいてまだ十分に調査されていない。