[論文レビュー] ASCNet: Self-supervised Video Representation Learning with Appearance-Speed Consistency

Deng Huang, Wenhao Wu+7 more|arXiv (Cornell University)|Jun 4, 2021

Human Pose and Action Recognition参考文献 42被引用数 5

ひとこと要約

ASCNet は、異なる再生速度間での外観一貫性と、同一フレームレートの動画間での速度一貫性を強制することで、自己教師あり動画表現学習フレームワークを提案する。これにより、ネガティブペアの必要性が排除される。外観ベースのリtrieval戦略を用いて、これらの2つのタスクを同時に最適化することで、ASCNet は最先端の性能を達成し、教師あり事前学習を一切行わず、UCF-101 動作認識で 90.8% の正確度を達成し、ImageNet で事前学習されたモデルを上回る。

ABSTRACT

We study self-supervised video representation learning, which is a challenging task due to 1) lack of labels for explicit supervision; 2) unstructured and noisy visual information. Existing methods mainly use contrastive loss with video clips as the instances and learn visual representation by discriminating instances from each other, but they need a careful treatment of negative pairs by either relying on large batch sizes, memory banks, extra modalities or customized mining strategies, which inevitably includes noisy data. In this paper, we observe that the consistency between positive samples is the key to learn robust video representation. Specifically, we propose two tasks to learn the appearance and speed consistency, respectively. The appearance consistency task aims to maximize the similarity between two clips of the same video with different playback speeds. The speed consistency task aims to maximize the similarity between two clips with the same playback speed but different appearance information. We show that optimizing the two tasks jointly consistently improves the performance on downstream tasks, e.g., action recognition and video retrieval. Remarkably, for action recognition on the UCF-101 dataset, we achieve 90.8\% accuracy without using any extra modalities or negative pairs for unsupervised pretraining, which outperforms the ImageNet supervised pretrained model. Codes and models will be available.

研究の動機と目的

• 自己教師あり学習におけるラベルなしデータやノイズの多いネガティブペアのない、頑健な動画表現学習の課題に対処すること。
• データマイニングやメモリバンクの複雑さに依存を減らすために、動画データに内在する一貫性を活用すること。
• 統一された事前学習フレームワークを通じて、動作認識および動画リtrievalの下流性能を向上させること。
• 対照学習における低品質または同クラスのネガティブサンプルの悪影響を排除すること。

提案手法

• 外観一貫性認識（ACP）を導入：同じ動画の異なる再生速度を持つクリップ間の類似度を最大化する。
• 速度一貫性認識（SCP）を提案：同じ再生速度だが外観が異なる複数の動画からのクリップ間の類似度を最大化する。
• ACP の目的関数と整合性を保つために、外観ベースのリtrieval戦略を用いて高品質なポジティブサンプルを選択する。
• 3D CNN バックボーン（例：ResNet-18, S3D-G）を用いて特徴を抽出し、対照損失を用いてACP と SCP を同時に最適化する。
• リtrieval タスクにおける動画レベル表現のため、1動画あたり10クリップにわたる平均プーリングを適用する。
• 明示的なネガティブサンプリングを回避し、ポジティブ一貫性にのみ依存することで、学習のロバスト性を向上させる。

Figure 1 : An illustration of appearance-speed consistency. Video clips (a) and (b) come from the same video, and the appearance is consistent with different playback speeds. On the other hand, by using the same frame interval, we can sample the clip (c) from different videos but with the same playb

実験結果

リサーチクエスチョン

• RQ1 異なる再生速度間での外観一貫性は、自己教師あり動画表現学習の強力な事前学習タスクとして機能するか？
• RQ2 同じフレームレートの動画間での速度一貫性は、ネガティブペアを一切使わずに特徴の判別能を向上させられるか？
• RQ3 外観一貫性と速度一貫性を組み合わせることで、従来の対照学習手法と比較して下流性能がどのように向上するか？
• RQ4 外観ベースのリtrieval戦略は、外観一貫性と速度一貫性のタスクのギャップを効果的に埋め合わせられるか？
• RQ5 ネガティブペアを排除することで、大規模バッチのネガティブサンプルやメモリバンクに依存する手法と比較して、より良い一般化性能が得られるか？

主な発見

• ASCNet は、RGB モダリティのみと自己教師あり事前学習を用いて、UCF-101 動作認識で 90.8% のトップ-1正確度を達成し、ImageNet で事前学習されたモデル（86.6%）を上回る。
• HMDB-51 では、S3D-G バックボーンを用いて 60.5% のトップ-1正確度を達成し、Pace（52.6%） や RSPNet（59.9%） といった先行する自己教師あり手法を上回る。
• 3D ResNet-18 バックボーンを用いる場合、UCF-101 で 80.5% の正確度を達成し、3D-RotNet（62.9%）、ST-Puzzle（65.8%）、DPC（68.2%） より顕著に優れている。
• 動画リtrieval タスクでは、UCF-101 で 45.9% のトップ-1正確度を達成し、次善の手法と比較して顕著な向上を示し、優れた判別能を持つ特徴学習が実現している。
• pretraining が 300 エポックで飽和し、200 エポックですでに 80.52% の高い性能に達している。
• 定性的な結果から、意味的および視覚的に類似した動画が正しくリtrieval されていることが確認され、モデルが意味のある外観および運動特徴を学習していることが裏付けられている。

Figure 2 : Illustration of the proposed framework. Given a set of video clips with different playback speed ( i.e. , $1\times$ and $2\times$ ), we use a video encoder $f(\cdot;\theta)$ to map the clips into appearance and speed embedding space. For the ACP task, we pull the appearance features from