[논문 리뷰] Self-Supervised Learning for Semi-Supervised Temporal Action Proposal

Xiang Wang, Shiwei Zhang외 4명|arXiv (Cornell University)|2021. 04. 07.

Human Pose and Action Recognition참고 문헌 55인용 수 8

한 줄 요약

이 논문은 시간적 특징 이동 및 뒤집기 왜곡을 적용하고, 마스킹된 특징 복원과 클립 순서 예측을 통해 특징의 구분 능력을 향상시켜, THUMOS14 및 ActivityNet v1.3에서 최신 기술 수준을 달성하는, 시간 인식형 준지도 학습과 관계 인식형 자기지도 학습 프리텍스트 작업을 결합한 자기지도 준지도 학습 프레임워크인 SSTAP을 제안한다. 이는 제한된 레이블을 가진 상황에서도 완전히 지도 학습된 방법과 동등한 성능을 달성한다.

ABSTRACT

Self-supervised learning presents a remarkable performance to utilize unlabeled data for various video tasks. In this paper, we focus on applying the power of self-supervised methods to improve semi-supervised action proposal generation. Particularly, we design an effective Self-supervised Semi-supervised Temporal Action Proposal (SSTAP) framework. The SSTAP contains two crucial branches, i.e., temporal-aware semi-supervised branch and relation-aware self-supervised branch. The semi-supervised branch improves the proposal model by introducing two temporal perturbations, i.e., temporal feature shift and temporal feature flip, in the mean teacher framework. The self-supervised branch defines two pretext tasks, including masked feature reconstruction and clip-order prediction, to learn the relation of temporal clues. By this means, SSTAP can better explore unlabeled videos, and improve the discriminative abilities of learned action features. We extensively evaluate the proposed SSTAP on THUMOS14 and ActivityNet v1.3 datasets. The experimental results demonstrate that SSTAP significantly outperforms state-of-the-art semi-supervised methods and even matches fully-supervised methods. Code is available at https://github.com/wangxiang1230/SSTAP.

연구 동기 및 목표

• 시간 행동 제안에서 고비용의 정밀한 인간 레이블링에 의존도를 줄이기 위해, 비라벨 영상 데이터를 활용한다.
• 자기지도 사전학습을 통해 학습된 행동 특징의 강건성과 구분 능력을 향상시킨다.
• 시간 행동 제안에서 준지도 학습과 자기지도 학습을 하나의 프레임워크로 통합한다.
• 자기지도 학습이 현재 최고 성능 기준을 초월하는 준지도 행동 제안 성능 향상에 기여할 수 있음을 입증한다.
• 다양한 백본 아키텍처와 데이터셋에 걸쳐 제안된 프레임워크의 일반화 능력을 검증한다.

제안 방법

• 시간적 특징 이동(양방향 채널 이동)과 시간 차원을 따라 한 방향으로 특징 뒤집기의 두 가지 시간적 왜곡을 적용하는 시간 인식형 준지도 학습 브랜치를 도입한다.
• 일반화 능력을 향상시키기 위해, 왜곡된 입력과 비왜곡된 입력을 각각 학생 및 교사 네트워크에 적용하는 Mean Teacher 프레임워크를 활용한다.
• 시간적 관계를 학습하기 위해 마스킹된 특징 복원과 클립 순서 예측이라는 두 가지 프리텍스트 작업을 갖춘 관계 인식형 자기지도 학습 브랜치를 설계한다.
• 특징 공간 내에서 동일 클래스 간 변동성은 최소화하고, 이질 클래스 간 분離를 극대화하기 위해 대조 학습 원리를 암묵적으로 적용한다.
• 라벨이 부여된 데이터와 비라벨 영상에서 유도된 자기지도 신호를 동시에 최적화하는 다중 과제 최적화 프레임워크를 통해 제안 모델을 공동으로 학습시킨다.
• 다양한 백본 네트워크, 예를 들어 BMN과 G-TAD에 이 프레임워크를 적용하여 일반화 능력을 입증한다.

Figure 1: (a) Feature similarity matrix visualization. We use cosine similarity to measure the degree of similarity between arbitrary two snippet-level feature vectors within the same video. Note that, snippet-level features of the action as similar as possible while separating actions from backgrou

실험 결과

연구 질문

• RQ1 자기지도 학습이 비라벨 영상 데이터를 효과적으로 활용함으로써 준지도 시간 행동 제안 성능 향상에 기여할 수 있는가?
• RQ2 특징 이동 및 뒤집기와 같은 시간적 왜곡이 행동 제안에서 모델의 강건성과 일반화 능력을 향상시키는가?
• RQ3 마스킹된 특징 복원과 클립 순서 예측과 같은 프리텍스트 작업이 시간적 관계를 효과적으로 포착하고 특징의 구분 능력을 향상시키는가?
• RQ4 제안된 SSTAP 프레임워크는 다양한 백본 아키텍처와 데이터셋에 일반화되는가?
• RQ5 SSTAP는 레이블 데이터의 일부만으로도 완전히 지도 학습된 방법과 동등한 성능을 달성할 수 있는가?

주요 결과

• SSTAP는 THUMOS14 및 ActivityNet v1.3에서 모두 최신 기술 수준의 성능을 달성하며, 기존 준지도 학습 및 일부 완전히 지도 학습 방법을 능가한다.
• THUMOS14에서 레이블 데이터의 60%만을 사용할 경우, SSTAP는 완전히 지도 학습된 BMN 모델의 평균 mAP를 초월한다.
• THUMOS14에서 레이블 데이터의 100%를 사용할 경우, SSTAP는 58.4%의 mAP@0.3 성능을 기록하여, 동일 조건에서 완전히 지도 학습된 BMN(56.0%)과 Ji et al.(57.9%)를 모두 초월한다.
• G-TAD에 적용했을 때, SSTAP는 준지도 학습 기반 모델 대비 mAP를 2% 이상 향상시켜 아키텍처 간 강력한 일반화 능력을 입증한다.
• 관계 인식형 자기지도 학습 브랜치는 특징 유사도 행렬을 통해 내부 클래스 유사도를 감소시키고, 이질 클래스 간 분리도 증가시킨다.
• 제거 실험 결과, 시간적 왜곡과 자기지도 프리텍스트 작업 모두 성능 향상에 기여하는 것으로 확인되었다.

Figure 2: Overview of our SSTAP. We first encode a sampled untrimmed input video into a feature sequence $f_{1}$ . In the temporal-aware semi-supervised branch (top right), there are two sequential perturbation operations: temporal feature shift and temporal feature flip. And the Base Module takes t