[論文レビュー] Can Temporal Information Help with Contrastive Self-Supervised Learning?

Yutong Bai, Haoqi Fan+7 more|arXiv (Cornell University)|Nov 25, 2020

Human Pose and Action Recognition参考文献 33被引用数 29

ひとこと要約

本論文では、時間的変換をデータオーグメンテーションおよび自己教師信号の両方として統合することで、動画表現学習を向上させる時間に注意を払った対照的自己教師型学習フレームワーク、TaCoを提案する。複数の動画レベルの事前学習タスク（例：アクションの逆転、速度変化）に特化したヘッドを導入することで、TaCoは最先端の性能を達成し、UCF-101で85.1%のトップ-1正答率、HMDB-51で51.6%を記録し、従来手法よりそれぞれ3%および2.4%の相対的向上を達成した。

ABSTRACT

Leveraging temporal information has been regarded as essential for developing video understanding models. However, how to properly incorporate temporal information into the recent successful instance discrimination based contrastive self-supervised learning (CSL) framework remains unclear. As an intuitive solution, we find that directly applying temporal augmentations does not help, or even impair video CSL in general. This counter-intuitive observation motivates us to re-design existing video CSL frameworks, for better integration of temporal knowledge. To this end, we present Temporal-aware Contrastive self-supervised learningTaCo, as a general paradigm to enhance video CSL. Specifically, TaCo selects a set of temporal transformations not only as strong data augmentation but also to constitute extra self-supervision for video understanding. By jointly contrasting instances with enriched temporal transformations and learning these transformations as self-supervised signals, TaCo can significantly enhance unsupervised video representation learning. For instance, TaCo demonstrates consistent improvement in downstream classification tasks over a list of backbones and CSL approaches. Our best model achieves 85.1% (UCF-101) and 51.6% (HMDB-51) top-1 accuracy, which is a 3% and 2.4% relative improvement over the previous state-of-the-art.

研究の動機と目的

• 時間的情報が動画表現学習における対照的自己教師型学習（CSL）を改善できるかどうかを調査すること。
• 従来のCSLフレームワークにおいて、時間的オーグメンテーションを直接適用するとしばしば失敗または性能が低下する理由を特定すること。
• 時間的変換をデータオーグメンテーションおよび自己教師信号の両方として活用することで、時間的知識をCSLに効果的に統合する新しいフレームワークを設計すること。
• 異なる動画事前学習タスク間の内在的関係と、それらの組み合わせが学習効率に与える影響を調査すること。
• 既存手法を上回る、一般化可能で柔軟な非教師あり動画表現学習のパラダイムを確立すること。

提案手法

• TaCoは、時間的変換を二重の目的で使用する：強力なデータオーグメンテーションとしての役割と、動画理解のための自己教師信号としての役割。
• 標準的な対照的学習の設定に、アクションの逆転、クリップシャッフル、速度変化などの特定の時間的事前学習タスクに特化した追加のタスクヘッドを導入する。
• 時間的変換に起因する視覚的ビュー間の対照的損失と、各時間的変換に特化したタスク固有の損失を同時に最適化することで、タスク間で共有される表現学習を可能にする。
• 対照的損失とタスク固有の損失の重みを調整するバランスハイパーパrameter λ を用い、後者の損失が学習中に優位にならないように制御する。
• さまざまなバックボーン（例：ResNet-18, R(2+1)D-18, ResNet-50）および対照的学習フレームワーク（例：MoCo, InstDisc）と互換性がある。
• 標準的なベンチマーク、UCF-101およびHMDB-51において、線形評価および微調整プロトコルの両方でフレームワークを評価する。

実験結果

リサーチクエスチョン

• RQ1 時間的情報は、動画表現学習における対照的自己教師型学習を改善できるか？
• RQ2 なぜ時間的オーグメンテーションを直接適用すると、従来のCSLフレームワークではしばしば失敗または性能が低下するのか？
• RQ3 単なるデータオーグメンテーションを超えて、時間的知識をCSLに効果的に統合するより効果的な方法はあるか？
• RQ4 異なる動画事前学習タスク間に、自己教師信号の向上に利用可能な内在的関係は存在するか？
• RQ5 複数の時間的事前学習タスクと対照的学習を統合した統一フレームワークは、優れた性能を達成できるか？

主な発見

• 微調整設定下で、TaCoはUCF-101で85.1%のトップ-1正答率、HMDB-51で51.6%を達成し、従来の最先端手法よりそれぞれ3%および2.4%の相対的向上を示した。
• 「速度 + シャッフル」と「ローテーションジッタリング + 逆転」のタスクペアの組み合わせが最も高い性能を示し、特定のタスクペア間に相乗効果があることを示唆している。
• 対照的損失を無効化し、タスク損失のみ最適化した場合、性能が著しく低下したため、対照的学習がTaCoにおいて果たす重要な役割が明確になった。
• 対照的損失とタスク損失のバランスを調整するハイパーパrameter λ は、λ=10で最も効果的であり、10～15の範囲で安定した性能を示した。
• 異なるバックボーンおよびCSLフレームワークにおいても、TaCoは一貫して性能を向上させ、一般化可能性と頑健性を示した。
• 線形評価でも、TaCoはヴァナイルなCSLおよび時間的オーグメンテーションベースラインを上回り、転移可能な表現を学習する有効性を確認した。