[論文レビュー] Self-Supervised Video Representation Using Pretext-Contrastive Learning.

Tao Li, Xueting Wang+1 more|arXiv (Cornell University)|Oct 29, 2020

Multimodal Machine Learning Applications参考文献 48被引用数 10

ひとこと要約

本稿では、超球特徴空間の整合性を介して事前学習タスクと対照的学習を統合する自己教師あり動画表現手法であるPretext-Contrastive Learning (PCL) を提案する。両者の目的関数を同時に最適化することで、複数のベースラインにおいて動画検索および認識タスクで最先端の性能を達成し、強力な一貫性と一般化能力を示した。

ABSTRACT

Pretext tasks and contrastive learning have been successful in self-supervised learning for video retrieval and recognition. In this study, we analyze their optimization targets and utilize the hyper-sphere feature space to explore the connections between them, indicating the compatibility and consistency of these two different learning methods. Based on the analysis, we propose a self-supervised training method, referred as Pretext-Contrastive Learning (PCL), to learn video representations. Extensive experiments based on different combinations of pretext task baselines and contrastive losses confirm the strong agreement with their self-supervised learning targets, demonstrating the effectiveness and the generality of PCL. The combination of pretext tasks and contrastive losses showed significant improvements in both video retrieval and recognition over the corresponding baselines. And we can also outperform current state-of-the-art methods in the same manner. Further, our PCL is flexible and can be applied to almost all existing pretext task methods.

研究の動機と目的

• 自己教師あり動画表現における事前学習タスクと対照的学習の最適化対象を分析すること。
• 超球特徴空間において、事前学習タスクと対照的学習の適合性と一貫性を調査すること。
• 両手法を統合した統一された学習フレームワーク、Pretext-Contrastive Learning (PCL) を提案すること。
• PCLの汎用性と有効性を、多様な事前学習タスクベースラインおよび対照的損失関数の文脈で示すこと。
• 同じ自己教師ありフレームワークを用いて、既存の最先端手法を上回ること。

提案手法

• 本手法は、超球特徴空間における事前学習タスクと対照的学習の目的関数の共同最適化として動画表現学習を定式化する。
• 超球の幾何的性質を活用して、事前学習タスクと対照的学習の最適化対象を整合させる。
• 複数の事前学習タスクベースライン（例：フレーム順序予測、動画穴埋め）と、さまざまな対照的損失関数を統合する。
• 事前学習タスク損失と対照的損失の重み付き和を用いて、エンドツーエンドでモデルを学習させ、一貫性のある特徴学習を促進する。
• モジュール型かつ柔軟なアーキテクチャであり、ほぼすべての既存の事前学習タスク手法と統合可能である。
• 最終的な動画表現は、人為的ラベルに依存せず、完全に自己教師ありに依存して学習される。

実験結果

リサーチクエスチョン

• RQ1 動画表現学習の文脈において、事前学習タスクと対照的学習の最適化対象はどのように関係しているか？
• RQ2 共通の超球特徴空間で最適化された場合、事前学習タスクと対照的学習はどの程度適合性と一貫性を示すか？
• RQ3 両手法を統合した統一フレームワークは、個別のアプローチと比較して、動画検索および認識タスクの性能向上に寄与するか？
• RQ4 提案されたPretext-Contrastive Learning (PCL) フレームワークは、異なる事前学習タスクベースラインに対してどの程度汎用性を示すか？
• RQ5 PCLは、現在の最先端の自己教師あり動画学習手法を上回る性能を発揮するか？

主な発見

• 超球特徴空間における事前学習タスクと対照的学習の共同最適化は、学習目的の強力な一貫性をもたらす。
• PCLは、個別の事前学習タスクおよび対照的学習ベースラインと比較して、動画検索および認識タスクで顕著な性能向上を達成する。
• 同じ学習プロトコル下で適用された場合、PCLは現在の最先端の自己教師あり動画学習アプローチを一貫して上回る。
• フレームワークは非常に汎用的であり、ほぼすべての既存の事前学習タスク手法に適用可能で、一貫した性能向上をもたらす。
• 広範なアブレーションスタディにより、事前学習タスクと対照的損失の組み合わせが、単独で使用する場合よりも効果的であることが確認された。