[論文レビュー] Self-Supervised Learning for Semi-Supervised Temporal Action Proposal

Xiang Wang, Shiwei Zhang+4 more|arXiv (Cornell University)|Apr 7, 2021

Human Pose and Action Recognition参考文献 55被引用数 8

ひとこと要約

本稿では、時間的特徴のシフトとフリップの摂動を用い、マスクされた特徴再構成とクリップ順序予測の自己教師付き事前学習タスクを組み合わせることで、特徴の判別性を向上させる自己教師付き半教師ありフレームワークSSTAPを提案する。SSTAPは、THUMOS14およびActivityNet v1.3で最先端の性能を達成しており、限られたラベル付きデータでも完全教師あり手法と同等の性能を発揮する。

ABSTRACT

Self-supervised learning presents a remarkable performance to utilize unlabeled data for various video tasks. In this paper, we focus on applying the power of self-supervised methods to improve semi-supervised action proposal generation. Particularly, we design an effective Self-supervised Semi-supervised Temporal Action Proposal (SSTAP) framework. The SSTAP contains two crucial branches, i.e., temporal-aware semi-supervised branch and relation-aware self-supervised branch. The semi-supervised branch improves the proposal model by introducing two temporal perturbations, i.e., temporal feature shift and temporal feature flip, in the mean teacher framework. The self-supervised branch defines two pretext tasks, including masked feature reconstruction and clip-order prediction, to learn the relation of temporal clues. By this means, SSTAP can better explore unlabeled videos, and improve the discriminative abilities of learned action features. We extensively evaluate the proposed SSTAP on THUMOS14 and ActivityNet v1.3 datasets. The experimental results demonstrate that SSTAP significantly outperforms state-of-the-art semi-supervised methods and even matches fully-supervised methods. Code is available at https://github.com/wangxiang1230/SSTAP.

研究の動機と目的

• 時間的行動提案における高価な密な人間によるアノテーションに依存するのを減らすために、ラベルなし動画データを活用すること。
• 自己教師付き事前学習を通じて、学習された行動特徴のロバスト性と判別性を向上させること。
• 時間的行動提案において、半教師あり学習と自己教師付き学習を統合した1つのフレームワークを構築すること。
• 自己教師付き学習が、現在の最先端手法を上回る半教師あり行動提案の性能を向上させられることを示すこと。
• 提案されたフレームワークが、異なるバックボーンアーキテクチャおよびデータセットに対して一般化可能であることを検証すること。

提案手法

• 時間的特徴シフト（双方向チャネル移動）および時間軸に沿った時間的特徴フリップという2つの時間的摂動を用いた、時間的特徴に配慮した半教師ありブランチを導入する。
• 一般化性能を向上させるために、摂動ありおよび摂動なしの入力を用いた学生・教師ネットワークをMean Teacherフレームワークで訓練する。
• 時間的依存関係を学習するために、マスクされた特徴再構成とクリップ順序予測という2つの事前学習タスクを備えた関係に配慮した自己教師付きブランチを設計する。
• 特徴空間におけるクラス内分散の最小化とクラス間分離の最大化を、対照的学習の原則を暗黙的に用いることで実現する。
• ラベル付きデータとラベルなし動画からの自己教師付き信号を同時に学習できるマルチタスク最適化フレームワークに両ブランチを統合する。
• 異なるバックボーンネットワーク（BMNおよびG-TADを含む）に統合フレームワークを適用し、その一般化能力を示す。

Figure 1: (a) Feature similarity matrix visualization. We use cosine similarity to measure the degree of similarity between arbitrary two snippet-level feature vectors within the same video. Note that, snippet-level features of the action as similar as possible while separating actions from backgrou

実験結果

リサーチクエスチョン

• RQ1 自己教師付き学習を用いることで、ラベルなし動画データを効果的に活用し、半教師あり時間行動提案の性能を向上させられるか？
• RQ2 特徴シフトやフリップといった時間的摂動は、行動提案におけるモデルのロバスト性と一般化性能を向上させるか？
• RQ3 マスクされた特徴再構成やクリップ順序予測といった事前学習タスクは、時間的関係を効果的に捉え、特徴の判別性を向上させられるか？
• RQ4 提案されたSSTAPフレームワークは、異なるバックボーンアーキテクチャおよびデータセットに一般化可能か？
• RQ5 SSTAPは、ラベル付きデータのわずかな割合でのみ、完全教師あり手法と同等の性能を達成できるか？

主な発見

• SSTAPは、THUMOS14およびActivityNet v1.3の両方で最先端の性能を達成しており、既存の半教師あり手法および一部の完全教師あり手法を上回っている。
• THUMOS14において、60%のラベル付きデータでのみ使用した場合、SSTAPは完全教師ありBMNモデルの平均mAPを上回っている。
• THUMOS14において、100%のラベル付きデータを使用した場合、SSTAPはmAP@0.3で58.4%を達成し、同じ設定下で完全教師ありBMN（56.0%）およびJiら（57.9%）を上回っている。
• G-TADに適用した場合、SSTAPは半教師ありベースラインと比較してmAPを2%以上向上させ、アーキテクチャ間での強い一般化能力を示している。
• 関係に配慮した自己教師付きブランチは、特徴類似度行列の可視化から、クラス内類似度を低下させ、クラス間分離を高めている。
• アブレーションスタディの結果、時間的摂動および自己教師付き事前学習タスクの両方が、性能向上に顕著な寄与をしていることが確認された。

Figure 2: Overview of our SSTAP. We first encode a sampled untrimmed input video into a feature sequence $f_{1}$ . In the temporal-aware semi-supervised branch (top right), there are two sequential perturbation operations: temporal feature shift and temporal feature flip. And the Base Module takes t