[논문 리뷰] Exploring Temporally Dynamic Data Augmentation for Video Recognition

Taeoh Kim, Jin-Hyung Kim외 5명|arXiv (Cornell University)|2022. 06. 30.

Human Pose and Action Recognition인용 수 5

한 줄 요약

이 논문은 영상 인식을 위한 시간적으로 동적인 데이터 증강 프레임워크인 DynaAugment를 제안한다. 이는 푸리에 샘플링을 사용하여 영상 프레임 간에 부드럽고 다양한, 현실적인 시간적 변형을 생성한다. 다양한 영상 인식 작업 및 데이터셋에서 성능을 크게 향상시키며, UCF-101에서 정상 기준 상위 1위 정확도가 최대 13.3% 향상되어 정적 증강 기반보다 뛰어나며, 손상된 영상에서도 강건성을 향상시킨다.

ABSTRACT

Data augmentation has recently emerged as an essential component of modern training recipes for visual recognition tasks. However, data augmentation for video recognition has been rarely explored despite its effectiveness. Few existing augmentation recipes for video recognition naively extend the image augmentation methods by applying the same operations to the whole video frames. Our main idea is that the magnitude of augmentation operations for each frame needs to be changed over time to capture the real-world video's temporal variations. These variations should be generated as diverse as possible using fewer additional hyper-parameters during training. Through this motivation, we propose a simple yet effective video data augmentation framework, DynaAugment. The magnitude of augmentation operations on each frame is changed by an effective mechanism, Fourier Sampling that parameterizes diverse, smooth, and realistic temporal variations. DynaAugment also includes an extended search space suitable for video for automatic data augmentation methods. DynaAugment experimentally demonstrates that there are additional performance rooms to be improved from static augmentations on diverse video models. Specifically, we show the effectiveness of DynaAugment on various video datasets and tasks: large-scale video recognition (Kinetics-400 and Something-Something-v2), small-scale video recognition (UCF- 101 and HMDB-51), fine-grained video recognition (Diving-48 and FineGym), video action segmentation on Breakfast, video action localization on THUMOS'14, and video object detection on MOT17Det. DynaAugment also enables video models to learn more generalized representation to improve the model robustness on the corrupted videos.

연구 동기 및 목표

• 정적 데이터 증강의 한계를 해결하기 위해, 카메라 움직임이나 조명 변화와 같은 실제 세계의 시간적 변형을 모델링하지 못하는 문제를 해결한다.
• 시간에 따라 증강 강도를 동적으로 변화시키는 단순하면서도 효과적인 프레임워크를 개발하여 모델의 일반화 및 강건성을 향상시킨다.
• 초파rameter 복잡성을 줄이고 시간적 증강 패턴에서 다양성과 현실성을 극대화한다.
• 기존의 자동 증강 검색 공간을 영상 전용 특성, 특히 시간적 동역학을 고려하여 확장한다.
• 다양한 영상 인식 작업, 즉 동작 인식, 세그멘테이션, 로컬라이제이션, 검출에서 동적 증강의 효과를 검증한다.

제안 방법

• 푸리에 샘플링을 제안하여 정현 기저 함수를 무작위 주파수와 진폭으로 조합함으로써 시간적으로 동적인 증강 강도를 생성하는 매개변수화된 함수로 사용한다.
• 각 프레임의 증강 연산 강도를 제어하기 위한 통합적이고 미분 가능한 메커니즘을 도입하여 부드럽고 현실적인 시간적 변화를 보장한다.
• RandAugment, TrivialAugment 등의 자동 증강 방법의 검색 공간을 영상 전용 연산, 예를 들어 시간적 컷, 프레임 제거, 시간 왜곡 등을 포함하도록 확장한다.
• 증강 정책과 시간적 동역학을 동시에 최적화할 수 있는 미분 가능한 검색 전략을 활용하여 최소한의 추가 초파rameter로 종단 간 학습을 가능하게 한다.
• 하류 작업에서 표준 이미지 백본 대신 3D 영상 백본(예: Swin-Tiny)을 사용하여 일반화 및 강건성을 평가한다.
• 증강된 데이터의 품질을 분석하기 위해 친화도와 다양성 등의 정량적 지표를 활용하여 분포 이탈을 최소화하면서 고유한 훈련 샘플을 극대화한다.

실험 결과

연구 질문

• RQ1 정적 증강 대비 시간적으로 동적인 증강이 영상 인식 성능을 크게 향상시킬 수 있는가?
• RQ2 실제 영상의 시간적 변형, 예를 들어 카메라 움직임이나 조명 변화를 매개변수화되고 미분 가능한 함수로 효과적으로 모델링할 수 있는가?
• RQ3 동적 증강 강도를 생성하기 위해 푸리에 샘플링을 사용할 경우, 분포 이탈 및 손상된 영상 데이터에서 더 나은 일반화 및 강건성을 달성할 수 있는가?
• RQ4 제안된 DynaAugment 프레임워크는 동작 인식, 세그멘테이션, 로컬라이제이션, 검출을 포함한 다양한 영상 인식 작업에서 성능을 얼마나 향상시키는가?
• RQ5 DynaAugment의 성능 향상 요인이 증강의 동적 성격 때문인지, 아니면 단지 검색 공간의 확장 때문인가?

주요 결과

• DynaAugment는 정적 RandAugment 기반보다 UCF-101에서 상위 1위 정확도를 13.3%포인트 향상시켜 85.3%의 상위 1위 정확도를 달성한다.
• Diving-48 데이터셋에서 DynaAugment는 72.5%의 상위 1위 정확도를 기록하여 정적 버전(68.3%)과 다른 동적 변형(선형 또는 정현파)보다 뛰어나다.
• 반복 실험에서 성능의 표준편차를 감소시켜 기반 모델 및 TrivialAugment 대비 훈련 안정성과 강건성을 향상시킨다.
• 손상된 영상에서 DynaAugment는 특히 고압축 조건에서 뛰어난 일반화 성능을 보이며, 분포 이탈에 대한 강건성을 향상시킨다.
• 절단 분석 결과, 성능 향상의 핵심 요인이 검색 공간 수정이 아니라 시간적 동역학임을 확인하였으며, 이는 넓은 검색 공간 기반 모델조차도 초월한다.
• 친화도 및 다양성 지표는 DynaAugment가 생성한 증강 데이터가 깨끗한 데이터와 높은 분포 유사도(친화도 = 0.96)를 가지며, 높은 다양성(1.59)을 보임을 나타내어 현실적이고 다양한 훈련 데이터임을 입증한다.