[논문 리뷰] Self-Supervised Learning via multi-Transformation Classification for Action Recognition

Duc Quang Vu, Ngan Le외 1명|arXiv (Cornell University)|2021. 02. 20.

Human Pose and Action Recognition참고 문헌 37인용 수 6

한 줄 요약

이 논문은 3D CNN을 사용하여 7종류의 다양한 비디오 변환(예: 회전, 프레임 교체, 색상 전환 등)을 분류하도록 훈련하는 자기지도 학습 비디오 표현 학습 방법을 제안한다. 이는 강력한 시공간 특징 학습을 가능하게 하며, C3D 및 3D ResNet-18 백본을 사용하여 UCF101(62.8%)과 HMDB51(35.9%)에서 최신 기술 수준의 정확도를 달성한다. 이는 Kinetics와 같은 대규모 데이터셋에 의존하지 않고도 이전 자기지도 학습 방법을 능가한다.

ABSTRACT

Self-supervised tasks have been utilized to build useful representations that can be used in downstream tasks when the annotation is unavailable. In this paper, we introduce a self-supervised video representation learning method based on the multi-transformation classification to efficiently classify human actions. Self-supervised learning on various transformations not only provides richer contextual information but also enables the visual representation more robust to the transforms. The spatio-temporal representation of the video is learned in a self-supervised manner by classifying seven different transformations i.e. rotation, clip inversion, permutation, split, join transformation, color switch, frame replacement, noise addition. First, seven different video transformations are applied to video clips. Then the 3D convolutional neural networks are utilized to extract features for clips and these features are processed to classify the pseudo-labels. We use the learned models in pretext tasks as the pre-trained models and fine-tune them to recognize human actions in the downstream task. We have conducted the experiments on UCF101 and HMDB51 datasets together with C3D and 3D Resnet-18 as backbone networks. The experimental results have shown that our proposed framework is outperformed other SOTA self-supervised action recognition approaches. The code will be made publicly available.

연구 동기 및 목표

• 행동 인식에 비용이 많이 드는 인간 레이블에 의존도를 줄이는 자기지도 학습 비디오 표현 학습 방법을 개발하는 것.
• 사전 훈련 중 비디오 클립에 다수의 변환을 적용하여 시공간 특징 학습을 향상시키는 것.
• 다중 변환 분류가 최종 행동 인식 작업에서 단일 변환 접근 방식보다 우수한 성능을 보임을 보여주는 것.
• 표준 벤치마크(UKF101 및 HMDB51)에서 다양한 백본 네트워크(C3D 및 3D ResNet-18)에 대해 본 방법의 효과성을 검증하는 것.
• 다양한 변환을 통해 단순하면서도 강력한 데이터 증강 전략을 구축하여 모델의 일반화 능력을 향상시키는 것.

제안 방법

• 입력 비디오 클립에 대해 7종류의 서로 다른 변환—회전, 클립 반전, 순서 섞기, 분할-결합, 색상 전환, 프레임 교체, 노이즈 추가—를 적용하여 가짜 레이블을 생성한다.
• 3D 컨volution 신경망(3D CNN)을 사용하여 각 클립에 적용된 변환 유형을 분류하도록 훈련하며, 변환 유형을 사전 작업으로 사용한다.
• 자기지도 학습을 통해 이러한 변환 분류 작업을 사전 훈련함으로써 인간 레이블이 없는 rich한 시공간 표현을 학습한다.
• 사전 훈련 후, 표준 지도 학습을 사용하여 최종 행동 인식 작업에 대해 학습된 3D CNN 특징를 미세 조정한다.
• 모델이 공간적 및 시간적 도메인 변환을 모두 활용하여 강력하고 일반화 가능한 표현을 학습하도록 한다.
• 프레임워크는 UCF101 및 HMDB51 데이터셋에서 C3D 및 3D ResNet-18를 백본 네트워크로 사용하여 평가된다.

실험 결과

연구 질문

• RQ1 자기지도 학습에서 다중 변환 분류가 비디오 행동 인식을 위한 시공간 표현 학습을 향상시킬 수 있는가?
• RQ2 다중 변환 분류의 성능은 단일 변환 기반 모델 대비 최종 행동 인식 정확도 측면에서 어떻게 비교되는가?
• RQ3 제안된 방법은 다양한 백본 아키텍처(C3D 및 3D ResNet-18)와 데이터셋(UKF101 및 HMDB51)에 대해 일반화되는가?
• RQ4 이 방법은 Kinetics와 같은 대규모 데이터셋을 사용하지 않고도 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 각 개별 변환이 전체 성능에 기여하는 정도는 어떠하며, 이를 조합함으로써 모델의 강건성이 어떻게 향상되는가?

주요 결과

• 제안된 방법은 3D ResNet-18를 사용하여 UCF101에서 62.8%의 상위-1 정확도, HMDB51에서 35.9%를 달성하여, 두 데이터셋 모두에서 이전의 모든 자기지도 학습 방법을 능가한다.
• 초기 학습에서 C3D와 3D ResNet-18는 각각 UCF101에서 16.7%, HMDB51에서 14.5% 높은 정확도를 기록하여 자기지도 사전 훈련의 가치를 입증한다.
• 다중 변환 분류 방식은 단일 변환 기반 모델 대비 최소 10.6% 높은 행동 인식 정확도를 기록하며, 가장 우수한 단일 변환(프레임 회전)조차 UCF101에서 52.2%에 그친다.
• 다중 변환 설정의 검증 손실은 개별 변환보다 더 이르고 일관되게 안정화되며, 더 나은 훈련 수렴성과 일반화 능력을 시사한다.
• 동일한 C3D 백본을 사용할 때, Kinetics 데이터셋을 사용하지 않고도 Video Jigsaw 및 Motion & Appearance 방법보다 UCF101에서 2.0% 높은 성능을 기록한다.
• 제거 실험 결과, 다수의 변환을 조합함으로써 특징 학습이 크게 향상됨을 확인하였으며, 각 변환은 고유한 시공간 인도적 편향을 제공한다.