[論文レビュー] Cycle-Contrast for Self-Supervised Video Representation Learning

Quan Kong, Wenpeng Wei+3 more|arXiv (Cornell University)|Oct 28, 2020

Human Pose and Action Recognition参考文献 37被引用数 32

ひとこと要約

サイクルコントラスト学習（CCL）は、ビデオとそのフレーム間のサイクル整合性を、フレームドメインおよびビデオドメインの対照学習によって強制することで、検索とアクション認識のための転送可能なビデオ表現を学習します。

ABSTRACT

We present Cycle-Contrastive Learning (CCL), a novel self-supervised method for learning video representation. Following a nature that there is a belong and inclusion relation of video and its frames, CCL is designed to find correspondences across frames and videos considering the contrastive representation in their domains respectively. It is different from recent approaches that merely learn correspondences across frames or clips. In our method, the frame and video representations are learned from a single network based on an R3D architecture, with a shared non-linear transformation for embedding both frame and video features before the cycle-contrastive loss. We demonstrate that the video representation learned by CCL can be transferred well to downstream tasks of video understanding, outperforming previous methods in nearest neighbour retrieval and action recognition tasks on UCF101, HMDB51 and MMAct.

研究の動機と目的

• ビデオ表現は二つのドメイン（ビデオとフレーム）で構造化されており、両方の間で近く、各ドメインの他の要素とは距離を置くべきであると主張する。
• ビデオとフレーム間の所属／包含関係を捉えるためのサイクルコントラスト損失を提案する。
• 共有された非線形投影を持つエンドツーエンドネットワークで、フレームレベルとビデオレベルの埋め込みを学習する。
• CCL表現が検索やアクション認識などの下流タスクへ良く転移することを示す。

提案手法

• 同じネットワークからフレームおよびビデオ特徴を抽出するためにR3D系のバックボーンを用い、共有投影モジュールを持つ。
• フレームとビデオの特徴を2層のMLPを介して共通の潜在空間に投影する。
• ドメイン間のサイクル整合性を強制するために、前方の video->frame および後方の frame->video のサイクルコントラスト損失を適用する。
• 各ドメインでソフトNearest Neighborsを計算し、微分可能なコントラスト損失（InfoNCE風）を可能にする。
• 同一ビデオからのフレーム埋め込みの多様性を促進するペナルティ項を組み込み、モード崩壊を回避する。
• 損失を重みでバランスさせ、エンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 ビデオとそのフレーム間のサイクル整合性とドメイン固有のコントラスト学習を組み合わせて、識別性が高く転移可能なビデオ表現を生み出すことができるか。
• RQ2 フレームレベルとビデオレベルの対照学習目標は、フレームのみ・ビデオのみのベースラインと比較して、検索とアクション認識の性能を共同で向上させるか。
• RQ3 同じビデオ内のフレーム間の多様性を強制することは、埋め込みの崩壊を防ぎ、一般化を改善するのに役立つか。

主な発見

• CCLは、いくつかの自己教師付きベースラインと比較して、UCF101・HMDB51・MMActで最近傍検索とアクション認識の性能を向上させる。
• 本手法は、フレーム→ビデオおよびビデオ→フレームの検索性能が強いことを示し、学習されたドメイン間の対応を示唆する。
• フレームドメインの対照損失と多様性ペナルティ項を追加すると、ビデオドメインのみの目的よりも大幅な改善をもたらす。
• 下流タスクでのファインチューニングは、CCLベースの表現が転移性に優れており、時にはUCF101と HMDB51で監督あり事前学習ベースラインを上回る。