[論文レビュー] Self-supervised Temporal Discriminative Learning for Video Representation Learning

Jinpeng Wang, Yiqi Lin+2 more|arXiv (Cornell University)|Aug 5, 2020

Human Pose and Action Recognition参考文献 39被引用数 13

ひとこと要約

本稿では、時間的特徴を判別可能にするために時間的トリプレットを生成し、時間的一致性のある拡張（TCA）を適用することで時間微分不変性を維持する、自己教師ありフレームワークであるビデオベース時間的判別的学習（VTDL）を提案する。驚くべきことに、UCF101 や HMDB51 のような小規模なビデオデータセットで事前学習した場合、VTDL は完全に教師ありの手法を上回る性能を示す。

ABSTRACT

Temporal cues in videos provide important information for recognizing actions accurately. However, temporal-discriminative features can hardly be extracted without using an annotated large-scale video action dataset for training. This paper proposes a novel Video-based Temporal-Discriminative Learning (VTDL) framework in self-supervised manner. Without labelled data for network pretraining, temporal triplet is generated for each anchor video by using segment of the same or different time interval so as to enhance the capacity for temporal feature representation. Measuring temporal information by time derivative, Temporal Consistent Augmentation (TCA) is designed to ensure that the time derivative (in any order) of the augmented positive is invariant except for a scaling constant. Finally, temporal-discriminative features are learnt by minimizing the distance between each anchor and its augmented positive, while the distance between each anchor and its augmented negative as well as other videos saved in the memory bank is maximized to enrich the representation diversity. In the downstream action recognition task, the proposed method significantly outperforms existing related works. Surprisingly, the proposed self-supervised approach is better than fully-supervised methods on UCF101 and HMDB51 when a small-scale video dataset (with only thousands of videos) is used for pre-training. The code has been made publicly available on https://github.com/FingerRec/Self-Supervised-Temporal-Discriminative-Representation-Learning-for-Video-Action-Recognition.

研究の動機と目的

• 大規模な人為的アノテーション付きデータセットが存在しない状況で、動画内における判別可能な時間的表現を学習する課題に対処すること。
• フレーム順序や再構成タスクを越えて、時間的類似性を明示的にモデル化することで、自己教師ありビデオ表現学習を向上させること。
• 時間的不変性を維持しながら、ポジティブペア間の空間的類似性を低減するデータ拡張戦略を開発すること。
• ラベル付きデータが限られている状況で、自己教師あり事前学習が完全に教師あり学習を上回ることを示すこと。
• 手動アノテーションなしに、カレントでないビデオクリップのみを用いて、効果的な転移学習を可能にすること。

提案手法

• 同じビデオまたは別のビデオの異なる時間間隔から、1つのビデオからアンカークリップをサンプリングし、ポジティブ／ネガティブクリップを生成することで時間的トリプレットを生成する。
• 時間的一致性のある拡張（TCA）を適用し、拡張されたポジティブの時間微分（任意の順序で）がスケーリング定数を除き不変のまま保たれることを保証する。
• メモリバンク内の他のビデオの特徴をネガティブとして扱い、アンカーや拡張されたポジティブの埋め込み距離を最小化するとともに、拡張されたネガティブや他のビデオとの距離を最大化する。
• 他のビデオの特徴をメモリバンクに保存し、それらをネガティブとして扱うことで、表現の多様性を高める。
• 埋め込み空間における時間的一致性と空間的明確性を促進するコントラスト学習目的関数を採用する。
• 手動アノテーションに依存せずに、時間的判別性を最適化するためのコントラスト損失を用いて、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 人為的アノテーション付きアクションラベルが一切ない状況でも、自己教師あり学習が動画内での時間的判別的特徴を効果的に捉えることができるか？
• RQ2 時間的一致性のある拡張（TCA）は、ポジティブペア間の空間的類似性を低減しつつ、時間的不変性をどのように維持するか？
• RQ3 時間的トリプレットを通じて時間的判別的特徴を学習することで、既存の自己教師あり手法よりも優れた下流のアクション認識性能が得られるか？
• RQ4 小規模なビデオデータセットで自己教師あり事前学習を実施した場合、より大きなデータセットで完全に教師あり学習を実施した場合を上回る性能を発揮できるか？
• RQ5 時間定数 τ や時間ストライドといったハイパーパrameterの選択に、VTDL の性能はどれほど敏感か？

主な発見

• VTDL は UCF101 および HMDB51 で最先端の性能を達成し、既存の自己教師あり手法を上回り、さらに小規模データセット（10,000 ビデオ未満）で事前学習した場合、完全に教師ありベースラインをも上回る。
• UCF101 および HMDB51 において、数千個のビデオでの VTDL 事前学習は、同じ小規模データセットで事前学習した完全に教師ありモデルよりも高いアクション認識精度を達成する。
• R3D-50 や I3D といった高容量バックボーンを用いることで、2〜3% の一貫した性能向上が見られ、VTDL がより豊富な特徴抽出器から恩恵を受けることが示された。
• UCF101 および HMDB51 では τ=2、Kinetics では τ=4 で最適な性能が得られ、平均的な動画長に適応する必要があることを示している。
• 時間ストライドを大きくすることで性能が向上するが、6 よりも大きなストライドは短い動画での不自然なサンプリングを引き起こし、結果を劣化させる。
• Kinetics からのより多様な未ラベルデータを用いることで性能が向上し、限られたデータでの VTDL 事前学習でさえ、学習から再初期化した場合を上回ることから、効果的な時間的特徴学習が実現されていることが示された。