[論文レビュー] How Incomplete is Contrastive Learning? An Inter-intra Variant Dual Representation Method for Self-supervised Video Recognition.

Lin Zhang, Qi She+2 more|arXiv (Cornell University)|Jul 2, 2021

Multimodal Machine Learning Applications参考文献 36被引用数 8

ひとこと要約

本論文は、シャッフルランクの事前学習タスクと時間的整合性のある対照的損失を用いて、動画内変動（イントラバリアンス）と動画間類似性（インターバリアンス）を明示的にモデル化する自己教師あり動画認識のためのデュアル表現手法を提案する。この手法は、SOTAの結果を達成し、Kinetics-400で事前学習した後、SimCLRと統合することでUCF101で82.0%の精度、UCF101の動画検索タスクで46.1%の検索精度を達成した。

ABSTRACT

Contrastive learning applied to self-supervised representation learning has seen a resurgence in deep models. In this paper, we find that existing contrastive learning based solutions for self-supervised video recognition focus on inter-variance encoding but ignore the intra-variance existing in clips within the same video. We thus propose to learn dual representations for each clip which ( omannumeral 1) encode intra-variance through a shuffle-rank pretext task; ( omannumeral 2) encode inter-variance through a temporal coherent contrastive loss. Experiment results show that our method plays an essential role in balancing inter and intra variances and brings consistent performance gains on multiple backbones and contrastive learning frameworks. Integrated with SimCLR and pretrained on Kinetics-400, our method achieves $ extbf{82.0\%}$ and $ extbf{51.2\%}$ downstream classification accuracy on UCF101 and HMDB51 test sets respectively and $ extbf{46.1\%}$ video retrieval accuracy on UCF101, outperforming both pretext-task based and contrastive learning based counterparts.

研究の動機と目的

• 現在の対照的学習手法がインターバリアンスに過剰に注目する一方で、動画クリップ内のイントラバリアンスを軽視するという不均衡を是正すること。
• 同じクリップの異なるビュー間の変動を明示的にモデル化することで、自己教師あり動画表現学習を向上させること。
• インフラバリアンスとインターバリアンスを同時に捉えることで特徴学習を向上させるデュアル表現フレームワークを構築すること。
• 提案手法の有効性を複数のバックボーンと対照的学習フレームワークで検証すること。
• UCF101、HMDB51、および動画検索タスクを含む標準的な動画認識ベンチマークでSOTAのパフォーマンスを達成すること。

提案手法

• 本手法は、1つのクリップごとに2つの表現を学習する：1つはシャッフルランク事前学習タスクを通じてインフラバリアンスを捉えるもので、モデルがシャッフルされたクリップ順序を予測するよう促す。
• もう1つの表現は、時間的整合性のある対照的損失を用いてインターバリアンスを符号化し、同じ動画からのクリップ同士を引き寄せつつ、異なる動画からのクリップと対照的にする。
• シャッフルランクタスクは、クリップの順序をシャッフルし、正しい順序を予測するようにモデルを訓練することで、クリップの内部的ばらつきをモデル化することを目的としている。
• 時間的整合性は、同じ動画からのクリップが埋め込み空間でより近づくように保証することで強化され、構造的一致性が向上する。
• デュアル表現は、シャッフルランクと対照的損失の両成分を組み合わせたマルチタスク目的関数により同時に最適化される。
• このフレームワークは、既存の対照的学習パイプラインと互換性があり、ResNetsなどの標準アーキテクチャやSimCLRなどのフレームワークと統合可能である。

実験結果

リサーチクエスチョン

• RQ1 動画クリップ内でのインフラバリアンスを明示的にモデル化することは、自己教師あり動画表現学習にどのように影響するか？
• RQ2 インフラバリアンスとインターバリアンスのバランスを取ることで、下流の動画認識タスクでのパフォーマンスはどの程度向上するか？
• RQ3 別々の不変性をモデル化するデュアル表現学習戦略は、動画認識における標準的な対照的学習を上回ることができるか？
• RQ4 本手法は、標準ベンチマークで、既存の事前学習タスクベースおよび対照的学習ベースの手法と比較してどのように評価されるか？
• RQ5 本手法は、異なるバックボーンや対照的学習フレームワークに一般化可能か？

主な発見

• 提案手法はUCF101で82.0%の分類精度を達成し、事前学習タスクベースおよび対照的学習ベースのベースラインを上回った。
• HMDB51では51.2%の精度を達成し、複数のアクティビティ認識ベンチマークで一貫した向上を示した。
• UCF101の動画検索タスクでは46.1%の検索精度を達成し、検索タスクに適した優れた特徴品質を示した。
• 複数のバックボーンと対照的学習フレームワークにわたり、性能向上が一貫しており、本手法の一般化能力を裏付けた。
• アブレーションスタディにより、インフラバリアンスとインターバリアンスのバランスが不可欠であることが確認され、単にインターバリアンスに注目するモデルよりも、デュアル表現戦略が顕著に優れていた。
• シャッフルランク事前学習タスクはインフラバリアンスを効果的に捉えており、時間的整合性のある対照的損失はインターバリアンスのモデル化を強化しており、設計選択の妥当性が裏付けられた。