[논문 리뷰] Self-supervised Temporal Discriminative Learning for Video Representation Learning

Jinpeng Wang, Yiqi Lin외 2명|arXiv (Cornell University)|2020. 08. 05.

Human Pose and Action Recognition참고 문헌 39인용 수 13

한 줄 요약

이 논문은 시간적 구분 특징을 학습하기 위해 시간 트리플릿을 생성하고 시간 일관성 증강(TCA)을 적용하여 시간 도함수 불변성을 유지하는 자기지도 학습 프레임워크인 영상 기반 시간 구분 학습(VTDL)을 제안한다. 놀랍게도, UCF101과 HMDB51와 같은 소규모 영상 데이터셋에서 사전 훈련할 경우, 완전히 지도 학습 방법보다도 VTDL가 더 뛰어난 성능을 보인다.

ABSTRACT

Temporal cues in videos provide important information for recognizing actions accurately. However, temporal-discriminative features can hardly be extracted without using an annotated large-scale video action dataset for training. This paper proposes a novel Video-based Temporal-Discriminative Learning (VTDL) framework in self-supervised manner. Without labelled data for network pretraining, temporal triplet is generated for each anchor video by using segment of the same or different time interval so as to enhance the capacity for temporal feature representation. Measuring temporal information by time derivative, Temporal Consistent Augmentation (TCA) is designed to ensure that the time derivative (in any order) of the augmented positive is invariant except for a scaling constant. Finally, temporal-discriminative features are learnt by minimizing the distance between each anchor and its augmented positive, while the distance between each anchor and its augmented negative as well as other videos saved in the memory bank is maximized to enrich the representation diversity. In the downstream action recognition task, the proposed method significantly outperforms existing related works. Surprisingly, the proposed self-supervised approach is better than fully-supervised methods on UCF101 and HMDB51 when a small-scale video dataset (with only thousands of videos) is used for pre-training. The code has been made publicly available on https://github.com/FingerRec/Self-Supervised-Temporal-Discriminative-Representation-Learning-for-Video-Action-Recognition.

연구 동기 및 목표

• 대규모 인간 레이블링된 영상 데이터셋이 없는 상황에서 영상 내 시간적 구분 특징을 학습하는 데 도전한다.
• 프레임 순서나 재구성 작업을 초월해 시간 유사도를 명시적으로 모델링함으로써 자기지도 학습 영상 표현 학습을 향상시킨다.
• 시간 불변성을 유지하면서도 양의 쌍 간의 공간 유사도를 감소시키는 데이터 증강 전략을 개발한다.
• 레이블이 제한된 경우 자기지도 사전 훈련이 완전히 지도 학습보다 뛰어날 수 있음을 입증한다.
• 수동 레이블링이 없이 단지 정제되지 않은 영상 클립만을 사용하여 효과적인 전이 학습을 가능하게 한다.

제안 방법

• 한 영상의 클립에서 앵커 클립을 샘플링하고, 동일하거나 다른 영상의 다른 시간 간격에서 양의 및 음의 클립을 추출하여 시간 트리플릿을 생성한다.
• 시간 일관성 증강(TCA)을 적용하여 증강된 양의 클립의 시간 도함수(어떤 순서로든)가 스케일링 상수 외에는 불변성을 유지하도록 보장한다.
• 기억 저장소에 다른 영상의 특징을 저장하여 음의 예로 간주하고 표현 다양성을 향상시키며, 앵커와 증강된 양의 클립 간의 임베딩 거리를 최소화하고, 증강된 음의 클립 및 다른 영상들과의 거리는 최대화한다.
• 기타 영상의 특징을 저장하는 기억 저장소를 사용하여 표현 다양성을 향상시키고, 이를 음의 예로 간주한다.
• 임베딩 공간에서 시간 불변성과 공간 독창성을 장려하는 대비 학습 목표를 사용한다.
• 수동 레이블링에 의존하지 않고 시간 구분 능력을 최적화하는 대비 손실을 사용하여 모델을 종단 간(end-to-end)으로 훈련한다.

실험 결과

연구 질문

• RQ1 인간 레이블링된 행동 레이블이 전혀 없는 상황에서 자기지도 학습이 영상 내 시간 구분 특징을 효과적으로 포착할 수 있는가?
• RQ2 시간 일관성 증강(TCA)은 양의 쌍 간의 공간 유사도를 감소시키면서도 시간 불변성을 어떻게 유지하는가?
• RQ3 시간 트리플릿을 통해 시간 구분 특징을 학습하는 것이 기존 자기지도 학습 방법보다 더 나은 최종 행동 인식 성능을 내는가?
• RQ4 소규모 영상 데이터셋에서 자기지도 사전 훈련이 더 큰 데이터셋에서의 완전히 지도 학습보다 뛰어날 수 있는가?
• RQ5 시간 상수 τ 및 시간 스트라이드와 같은 초모델 하이퍼파rameter의 선택에 따라 VTDL의 성능에 얼마나 민감한가?

주요 결과

• VTDL는 UCF101과 HMDB51에서 최신 기준 성능을 달성하였으며, 기존 자기지도 학습 방법을 능가하고, 소규모 데이터셋(10,000건 미만)에서 사전 훈련할 경우 완전히 지도 학습 기반 모델을 초월한다.
• UCF101과 HMDB51에서 수천 개의 영상만으로도 VTDL 사전 훈련이 동일한 소규모 데이터에서 사전 훈련된 완전히 지도 학습 모델보다 더 높은 행동 인식 정확도를 달성한다.
• 더 높은 능력의 백본(예: R3D-50, I3D)을 사용할 경우 2–3%의 일관된 성능 향상이 관찰되어 VTDL가 더 풍부한 특징 추출기에서 유의미한 이점을 얻음을 시사한다.
• UCF101과 HMDB51에서는 τ=2에서 최적의 성능을 달성하고, Kinetics에서는 τ=4에서 최적 성능을 보이며, 이는 평균 영상 길이에 맞게 조정이 필요함을 반영한다.
• 더 큰 시간 스트라이드는 일정 범위까지 성능 향상을 이끌지만, 너무 큰 스트라이드(예: >6)는 짧은 영상에서 비자연스러운 샘플링으로 인해 성능 저하를 초래한다.
• Kinetics에서 더 다양한 비라벨 영상 데이터를 사용할수록 성능 향상이 이루어지며, 제한된 데이터로도 VTDL 사전 훈련이 초기 학습보다 뛰어나 성능을 내어 효과적인 시간 특징 학습을 입증한다.