[논문 리뷰] VideoMix: Rethinking Data Augmentation for Video Classification

Sangdoo Yun, Seong Joon Oh외 3명|arXiv (Cornell University)|2020. 12. 07.

Human Pose and Action Recognition참고 문헌 42인용 수 48

한 줄 요약

VideoMix은 비디오 큐보이드를 한 비디오에서 다른 비디오로 붙여 넣는 3D 데이터 증강을 도입하며, 복셀 겹침 비율에 따라 라벨을 비례 혼합하고, 행동 인식, 로컬라이제이션, 탐지 작업 전반에서 일관된 이점을 보인다.

ABSTRACT

State-of-the-art video action classifiers often suffer from overfitting. They tend to be biased towards specific objects and scene cues, rather than the foreground action content, leading to sub-optimal generalization performances. Recent data augmentation strategies have been reported to address the overfitting problems in static image classifiers. Despite the effectiveness on the static image classifiers, data augmentation has rarely been studied for videos. For the first time in the field, we systematically analyze the efficacy of various data augmentation strategies on the video classification task. We then propose a powerful augmentation strategy VideoMix. VideoMix creates a new training video by inserting a video cuboid into another video. The ground truth labels are mixed proportionally to the number of voxels from each video. We show that VideoMix lets a model learn beyond the object and scene biases and extract more robust cues for action recognition. VideoMix consistently outperforms other augmentation baselines on Kinetics and the challenging Something-Something-V2 benchmarks. It also improves the weakly-supervised action localization performance on THUMOS'14. VideoMix pretrained models exhibit improved accuracies on the video detection task (AVA).

연구 동기 및 목표

• 비디오 액션 분류기의 과적합 및 객체/장면 편향 해결.
• 비디오 데이터에 대한 기존 이미지 기반 증강 전략을 체계적으로 평가.
• VideoMix, 비디오용 3D 큐보이드 컷앤페스트 증강을 제안하고 분석
• 여러 데이터셋 및 작업(인식, 로컬라이제이션, 탐지)에서 VideoMix의 이점 시연
• 증강이 시간적/공간적 단서 및 모델 주의에 어떤 영향을 주는지에 대한 통찰 제공

제안 방법

• Mixup/CutMix 개념을 시공간 차원으로 확장하여 비디오 데이터에 대한 이미지 기반 증강을 일반화.
• 일부 비디오에서 임의의 시공간 큐보이드를 다른 비디오의 큐보이드로 대체하고 복셀 비율에 따라 라벨을 혼합하는 것으로 VideoMix를 정의.
• 공간적, 시간적, 시공간적 변형을 조사하여 비디오 증강의 최적 축을 식별(기본값으로 Spatial VideoMix 선택).
• 아키텍처(SlowOnly, SlowFast, CSN)와 데이터셋(Kinetics-400, Mini-Kinetics, Something-Something-V2) 전반에 걸친 광범위한 실험 수행.
• 하이퍼파라미터(alpha, 적용 확률, 혼합 비디오 수)에 대한 ablations 수행하고 Mixup, CutMix, RandAugment, Cutout 등의 베이스라인과 비교。

실험 결과

연구 질문

• RQ1 이미지 도메인 증강 전략을 비디오 데이터에 확장하는 것이 행동 인식의 일반화에 도움이 되는가?
• RQ2 증강의 어느 축(공간, 시간, 또는 시공간)이 비디오 모델의 가장 강력한 성능 향상을 가져오는가?
• RQ3 VideoMix가 비디오 데이터로 사전 학습할 때 약하게 감독된 시간적 액션 로컬라이제이션 및 다운스트림 탐지 작업을 개선할 수 있는가?
• RQ4 VideoMix 하이퍼파라미터가 성능과 학습 안정성에 미치는 영향은 무엇인가?
• RQ5 VideoMix 사전 학습 모델이 AVA 액션 탐지 및 기타 비디오 작업으로의 전이 학습에 도움이 되는가?

주요 결과

• VideoMix는 SlowOnly-50 및 SlowFast-50에서 Kinetics-400 상단 1 정확도(top-1 accuracy)를 일관되게 향상시키며(예: +1.3 percentage points).
• VideoMix는 아키텍처에 따라 Something-Something-V2의 top-1 정확도를 약 +0.9~+0.8 포인트 정도 향상시킨다.
• VideoMix는 THUMOS’14의 약한 감독 시간적 액션 로컬라이제이션 mAP를 Mixup 베이스라인 대비 최대 +1.5 mAP 포인트까지 향상시킨다.
• VideoMix 사전 학습 가중치가 SlowOnly-50 및 SlowFast-50의 AVA 액션 탐지 mAP를 각각 +1.3~+1.7 포인트 향상시킨다.
• 아블레이션 결과 Spatial VideoMix가 Temporal, Spatial, Spatio-temporal 변형 중에서 가장 효과적이며, 혼합 비디오 수를 두 배로 늘리거나 VideoMix를 확률적으로 적용하는 것이 이득을 감소시킬 수 있다.
• VideoMix는 장면 편향을 줄이고 CAM 시각화를 통해 모델이 더 넓은 액션 단서를 주목하도록 유도하는 경향이 있다.