[論文レビュー] Pretext-Contrastive Learning: Toward Good Practices in Self-supervised Video Representation Leaning

Tao Li, Xueting Wang+1 more|arXiv (Cornell University)|Oct 29, 2020

Human Pose and Action Recognition参考文献 49被引用数 8

ひとこと要約

本論文は、自己教師あり動画表現学習を著しく向上させるために、データ拡張および前処理を強化した、プロキシタスクと対照的学習を統合した共同最適化フレームワークであるPretext-Contrastive Learning (PCL)を提案する。広範なアブレーションおよび評価を通じて、PCLはKineticsデータのたった3.6%を用いてUCF101およびHMDB51で最先端の性能を達成し、自己教師あり動画学習の新たなベンチマークを設定した。

ABSTRACT

Recently, pretext-task based methods are proposed one after another in self-supervised video feature learning. Meanwhile, contrastive learning methods also yield good performance. Usually, new methods can beat previous ones as claimed that they could capture "better" temporal information. However, there exist setting differences among them and it is hard to conclude which is better. It would be much more convincing in comparison if these methods have reached as closer to their performance limits as possible. In this paper, we start from one pretext-task baseline, exploring how far it can go by combining it with contrastive learning, data pre-processing, and data augmentation. A proper setting has been found from extensive experiments, with which huge improvements over the baselines can be achieved, indicating a joint optimization framework can boost both pretext task and contrastive learning. We denote the joint optimization framework as Pretext-Contrastive Learning (PCL). The other two pretext task baselines are used to validate the effectiveness of PCL. And we can easily outperform current state-of-the-art methods in the same training manner, showing the effectiveness and the generality of our proposal. It is convenient to treat PCL as a standard training strategy and apply it to many other works in self-supervised video feature learning.

研究の動機と目的

• プロキシタスクと対照的学習をどのように共同最適化することで自己教師あり動画表現学習を向上させられるかを調査すること。
• パフォーマンスを最大化するための最適なトレーニング設定（特にデータ拡張、前処理、ハイパーパramータ）を同定すること。
• 新しいプロキシタスクや対照的学習目的を必要とせず、既存の自己教師あり手法を上回る汎用的で柔軟なトレーニング戦略を確立すること。
• 一貫したトレーニングプロトコルのもとで、標準的な動画ベンチマーク（UCF101およびHMDB51）において新しいパフォーマンスのベンチマークを設定すること。
• 提案されたフレームワークの汎用性と有効性を、複数のプロキシタスクベースラインおよびネットワークアーキテクチャを用いて検証すること。

提案手法

• 同じ動画特徴上でプロキシタスクヘッドと対照的学習ヘッドを同時に学習する、共同最適化フレームワークであるPretext-Contrastive Learning (PCL)を提案する。
• 特徴のロバスト性を向上させるために、ランダムクロッピング、カラージッタリング、時間的クロッピングを含む強力なデータ拡張戦略を統合する。
• 長時間の時間的依存関係を保持することで特徴学習を向上させるために、リジッドクリップ（スキップコネクション付きクリップ）を適用する。
• デュアルヘッドトレーニング設定を採用：一方のヘッドはプロキシタスク（例：動画クリップの順序予測）を、もう一方のヘッドは正例／負例ペアを用いた対照的学習を実行する。
• 同じ動画の異なるビュー間の特徴識別を促進するために、対称的な対照的損失（例：InfoNCE）を用いる。
• 両ヘッドを重み付き和による損失の合算でエンドツーエンドに最適化することで、相互にパフォーマンスを向上させる。

実験結果

リサーチクエスチョン

• RQ1 プロキシタスクと対照的学習を組み合わせることで、単独で使用する場合よりも優れた動画表現学習が達成できるか？
• RQ2 共同でトレーニングする際、プロキシタスクと対照的学習の目的を最大限に発揮させるために、どの具体的なデータ拡張および前処理技術が最適か？
• RQ3 PCLフレームワークは、異なるプロキシタスクベースラインおよびネットワークアーキテクチャに一般化可能か？
• RQ4 PCLは、現在の手法よりも著しく少ない事前学習データで最先端のパフォーマンスを達成できるか？
• RQ5 共同プロキシタスク・対照的学習の潜在能力を引き出すために、最適なハイパーパramータとトレーニング設定は何か？

主な発見

• PCLは、Kineticsデータのたった3.6%を用いてUCF101で66.0%のアクション認識精度を達成し、同じトレーニング環境下で以前の自己教師あり手法を著しく上回った。
• HMDB51では54.1%のトップ1精度を達成し、最小限のデータで自己教師あり動画学習の新しい最先端を樹立した。
• 動画リtrievalでは、UCF101の101クラス中72クラスで、単独のプロキシタスクおよび対照的学習ベースラインを上回り、平均性能も優れていた。
• アブレーションスタディの結果、強力なデータ拡張とリジッドクリップがパフォーマンス向上に寄与する重要な要因であることが確認された。
• フレームワークは良好に一般化された：PCLは3つの異なるプロキシタスクベースライン（VCPなど）および複数のネットワークバックボーン（R3D、ResNeXt）でパフォーマンスを向上させた。
• 可視化の結果、PCLの特徴はベースライン手法と比較してより凝集的で識別性が高いため、より優れた特徴品質であることが示された。