[논문 리뷰] VideoSSL: Semi-Supervised Learning for Video Classification

Longlong Jing, Toufiq Parag외 3명|arXiv (Cornell University)|2020. 02. 29.

Human Pose and Action Recognition참고 문헌 46인용 수 6

한 줄 요약

이 논문은 비디오 분류를 위한 준감독 학습 방법인 VideoSSL을 제안한다. 이 방법은 레이블이 없는 비디오 클립에서 생성한 가짜 레이블과 사전 훈련된 2D 이미지 분류기에서 유도한 외관 기반 정규화를 활용한다. 이러한 두 가지 지도 신호를 조합함으로써, 레이블이 있는 데이터의 10–20%만을 사용하여 UCF101, HMDB51, Kinetics 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

We propose a semi-supervised learning approach for video classification, VideoSSL, using convolutional neural networks (CNN). Like other computer vision tasks, existing supervised video classification methods demand a large amount of labeled data to attain good performance. However, annotation of a large dataset is expensive and time consuming. To minimize the dependence on a large annotated dataset, our proposed semi-supervised method trains from a small number of labeled examples and exploits two regulatory signals from unlabeled data. The first signal is the pseudo-labels of unlabeled examples computed from the confidences of the CNN being trained. The other is the normalized probabilities, as predicted by an image classifier CNN, that captures the information about appearances of the interesting objects in the video. We show that, under the supervision of these guiding signals from unlabeled examples, a video classification CNN can achieve impressive performances utilizing a small fraction of annotated examples on three publicly available datasets: UCF101, HMDB51 and Kinetics.

연구 동기 및 목표

• 대규모 레이블이 부여된 비디오 데이터셋에 대한 의존도를 줄이기 위해, 이는 생성에 비용과 시간이 많이 들기 때문이다.
• 이미지 분류 작업에서 효과적이었던 준감독 학습 기법을 더 복잡한 시공간적 도메인인 비디오 분류에 적응시키기 위해.
• 레이블이 있는 예제의 소수만을 사용하여 레이블이 없는 데이터를 통해 이중 지도 신호를 통합함으로써 3D CNN의 비디오 분류 성능을 향상시키기 위해.
• 객체 수준의 특징에서 유도된 외관 신호가 낮은 감독 환경에서 비디오 동작 인식 성능을 크게 향상시킬 수 있는지 조사하기 위해.

제안 방법

• 훈련 중에 레이블이 없는 비디오 클립에서 CNN의 신뢰도 점수를 기반으로 생성된 가짜 레이블을 사용하여 지도 신호를 제공한다.
• 각 비디오의 무작위 프레임에 적용된 사전 훈련된 2D 이미지 분류기의 외관 특징을 도입하여 3D 비디오 분류기의 정규화를 수행한다.
• 2D 이미지 분류기의 예측 확률을 정규화 신호로 사용하여 3D CNN이 더 구분력 있는 시공간적 특징을 학습하도록 이끈다.
• 레이블이 있는 데이터에 대한 지도 손실과 레이블이 없는 데이터에 대한 일致성 정규화를 조합하여 엔드 투 엔드로 프레임워크를 훈련한다.
• 이 방법은 ResNet-18와 같은 다양한 3D CNN 아키텍처와 호환되며, 다양한 비디오 데이터셋에 적용할 수 있다.
• 레이블이 없는 데이터에 대한 고신뢰도 예측을 활용하여 모델 신뢰도를 평가하고 주도적 학습 응용을 지원한다.

실험 결과

연구 질문

• RQ1 2D 이미지 작업에서 효과적이었던 준감독 학습 기법을 3D CNN을 사용한 비디오 분류에 효과적으로 적응시킬 수 있는가?
• RQ2 2D 이미지 분류기 예측에서 도출된 외관 신호를 통합하면 낮은 감독 환경에서 비디오 분류 정확도가 향상되는가?
• RQ3 가짜 레이블링과 외관 정규화를 통해 얼마나 많은 레이블이 필요한 비디오 데이터셋을 줄일 수 있는가?
• RQ4 다양한 비디오 데이터셋에서 제안된 방법의 성능이 완전히 감독 학습 및 다른 준감독 기반 베이스라인과 비교해 볼 때 어떻게 되는가?

주요 결과

• UCF101, HMDB51, Kinetics에서 VideoSSL는 레이블이 있는 데이터의 10–20%만을 사용할 때도 완전히 감독 학습보다 최대 20% 높은 정확도를 달성했다.
• 레이블이 있는 데이터의 10%만을 사용했을 때도, 이전 연구에서 전체 데이터셋으로 훈련된 완전히 감독 학습 3D ResNet-18 모델의 정확도를 초월했다.
• UCF101의 90% 이상의 카테고리에서 레이블이 10%일 때 제안된 방법이 감독 기반 베이스라인보다 높은 1위 정확도를 달성했으며, 특히 복싱과 펜싱 같은 특정 동작에서는 40% 이상의 향상이 있었다.
• 레이블이 없는 비디오의 90% 이상이 높은 신뢰도(>0.95)로 정확히 분류되었으며, 이는 모델의 강력한 신뢰성과 주도적 학습 응용 가능성을 시사한다.
• 외관 신호를 활용함으로써 감독 모델에서 흔히 발생하는 오분류 오류(예: '프리스비 던지기'를 '풋볼 패스'로 오인)를 크게 줄였다.
• 가짜 레이블링과 외관 정규화의 조합은 모든 세 가지 벤치마크 데이터셋에서 일관된 성능 향상을 이끌어내어 강건성과 일반화 능력을 입증했다.