[논문 리뷰] Self-Paced Video Data Augmentation with Dynamic Images Generated by Generative Adversarial Networks

Yumeng Zhang, Gaoguo Jia외 3명|arXiv (Cornell University)|2019. 09. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 29인용 수 4

한 줄 요약

이 논문은 데이터 부족 상황에서 영상 분류 성능을 햖을 때, GAN으로 생성된 동적 이미지를 활용한 자기주도적 영상 데이터 증강 방법을 제안한다. 운동을 정적 이미지로 압축함으로써, GAN은 고품질의 카테고리별 동적 이미지를 생성하고, 자기주도적 선택(SPS) 전략을 통해 가장 신뢰할 수 있는 샘플만 걸러내어, HMDB4*와 UCF4*에서 소수 클래스의 정확도를 최대 7.2% 향상시킨다.

ABSTRACT

There is an urgent need for an effective video classification method by means of a small number of samples. The deficiency of samples could be effectively alleviated by generating samples through Generative Adversarial Networks (GAN), but the generation of videos on a typical category remains to be underexplored since the complex actions and the changeable viewpoints are difficult to simulate. In this paper, we propose a generative data augmentation method for temporal stream of the Temporal Segment Networks with the dynamic image. The dynamic image compresses the motion information of video into a still image, removing the interference factors such as the background. Thus it is easier to generate images with categorical motion information using GAN. We use the generated dynamic images to enhance the features, with regularization achieved as well, thereby to achieve the effect of video augmentation. In order to deal with the uneven quality of generated images, we propose a Self-Paced Selection (SPS) method, which automatically selects the high-quality generated samples to be added to the network training. Our method is verified on two benchmark datasets, HMDB51 and UCF101. The experimental results show that the method can improve the accuracy of video classification under the circumstance of sample insufficiency and sample imbalance.

연구 동기 및 목표

• 희귀하거나 소수의 동작 카테고리에 대해 데이터 부족과 클래스 불균형 상황에서 영상 분류의 과제를 해결한다.
• 기존 GAN 기반 영상 생성 기법의 한계를 극복한다. 이는 높은 메모리 및 계산 요구량으로 인해 복잡한 동작과 다양한 시점에서의 성능 저하를 겪는다.
• 전체 영상 생성이 필요 없이도 시간 흐름 기반 네트워크를 향상시킬 수 있는 확장 가능하고 모듈식인 데이터 증강 프레임워크를 개발한다.
• GAN으로 생성된 동적 이미지를 정규화 요소로 활용하여, 소수 샘플 학습에서의 과적합을 완화하고 특징 학습을 향상시킨다.
• 핵심 운동 의미를 유지하면서도 저품질이고 노이즈가 많은 출력을 걸러내는 합성 샘플을 생성함으로써, 불균형 데이터셋에서 효과적인 학습을 가능하게 한다.

제안 방법

• 순위 풀링을 사용해 영상의 운동을 단일 정적 이미지로 압축함으로써 동적 이미지를 생성하고, 정적 배경을 제거하며 운동 신호를 유지한다.
• 영상 세그먼트에서 희소 샘플링을 통해 추출한 대량의 동적 이미지에 대해 GAN을 훈련시어 운동 의미를 갖는 이미지를 효율적으로 생성한다.
• 카테고리 간 구분 능력에 기반해 동적으로 고품질의 생성 샘플만 식별하고 선택하는 자기주도적 선택(SPS) 전략을 적용한다.
• 여러 훈련 에포크 동안 선택된 합성 동적 이미지를 훈련 세트에 점진적으로 통합한다.
• 시간 흐름 기반의 시간 세그먼트 네트워크(TSN)를 백본으로 사용하여 생성된 동적 이미지를 활용해 특징 학습과 결정 경계 일반화를 향상시킨다.
• 에포크에 따라 일정한 스케줄을 적용해 SPS를 사용하여 샘플을 간격을 두고 선택함으로써 초기 훈련 간섭을 방지하고 점진적인 모델 향상 보장한다.

실험 결과

연구 질문

• RQ1 훈련 데이터가 부족한 상황에서 GAN으로 생성된 동적 이미지가 영상 분류 모델을 효과적으로 증강할 수 있는가?
• RQ2 GAN으로 생성된 샘플의 품질 변동성을 어떻게 완화하여 모델 훈련에 악영향을 주지 않도록 할 수 있는가?
• RQ3 원본 영상 프레임 대비 동적 이미지를 사용할 경우, 영상 분류에서 데이터 증강의 실행 가능성과 성능 향상에 어떤 영향을 미치는가?
• RQ4 소수의 샘플이 있는 불균형 데이터셋에서 합성 동적 이미지가 분류 정확도를 어느 정도 향상시킬 수 있는가?
• RQ5 자기주도적 선택 메커니즘이 훈련에 가장 유용한 합성 샘플을 효과적으로 식별하고 우선순위를 정할 수 있는가?

주요 결과

• 기본 모델에 비해 불균형 데이터로 훈련된 경우, 제안된 방법은 UCF4* 하위셋에서 7.2% 향상된 정확도를 기록했고, HMDB4* 하위셋에서는 6.8% 향상되었다.
• 불균형 데이터로 훈련된 경우, UCF101*에서 91.3%의 정확도, HMDB51*에서 60.4%의 정확도를 기록하여 DI Net 및 Two-Stream I3D와 같은 최신 기법들을 능가했다.
• 자기주도적 선택(SPS) 메커니즘이 저품질 GAN 샘플을 효과적으로 걸러내어 모델 일반화 능력 향상과 과적합 감소에 기여했다.
• 원본 영상 프레임 대신 동적 이미지를 사용함으로써 효과적인 GAN 기반 증강이 가능했으며, 이는 압축된 표현 방식이 핵심 운동 특징을 유지하면서 배경 노이즈를 최소화했기 때문이다.
• 3D-CNN 기반 모델(C3D, R3D, I3D)에 비해 소수 샘플 설정에서 뚜렷한 성능 향상을 보였고, SPS-GAN으로 증강된 TSN 기반 모델은 UCF4*에서 99.35%의 정확도를 달성했다.
• 이 방법은 강력한 일반화 능력과 모듈성을 보였으며, 기존의 TSN 기반 영상 분류 프레임워크와의 호환성이 있었고, 아키텍처 변경 없이도 적용 가능했다.