[논문 리뷰] Exploiting Image-trained CNN Architectures for Unconstrained Video Classification

Shengxin Zha, Florian Luisier외 3명|arXiv (Cornell University)|2015. 03. 13.

Human Pose and Action Recognition참고 문헌 49인용 수 79

한 줄 요약

이 논문은 사전 훈련된 이미지 기반 CNN을 사용하여 비디오 분류를 위한 단순하면서도 효과적인 파이프라인을 제안한다. 특징 추출, 풀링, 정규화 및 운동 특징과의 후기 융합에 대한 신중한 선택이 성능 향상에 크게 기여함을 입증한다. TRECVID MED’14 및 UCF-101에서 이 방법은 비-CNN 기반 모델을 능가하며, 특히 CNN 특징와 운동 기반 IDT+FV 특징을 융합함으로써 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

We conduct an in-depth exploration of different strategies for doing event detection in videos using convolutional neural networks (CNNs) trained for image classification. We study different ways of performing spatial and temporal pooling, feature normalization, choice of CNN layers as well as choice of classifiers. Making judicious choices along these dimensions led to a very significant increase in performance over more naive approaches that have been used till now. We evaluate our approach on the challenging TRECVID MED'14 dataset with two popular CNN architectures pretrained on ImageNet. On this MED'14 dataset, our methods, based entirely on image-trained CNN features, can outperform several state-of-the-art non-CNN models. Our proposed late fusion of CNN- and motion-based features can further increase the mean average precision (mAP) on MED'14 from 34.95% to 38.74%. The fusion approach achieves the state-of-the-art classification performance on the challenging UCF-101 dataset.

연구 동기 및 목표

• 사전 훈련된 이미지 기반 CNN이 미세조정 없이도 제한 없는 비디오 분류에서 강력한 성능을 낼 수 있는지 조사한다.
• 이미지 CNN을 비디오에 적용할 때 최적의 설계 선택 사항—예: CNN 레이어 선택, 풀링, 정규화, 분류기—을 규명한다.
• CNN 특징와 운동 기반 기술자(IDT+FV) 간의 후기 융합이 비디오 분류 정확도에 미치는 영향을 평가한다.
• 미세조정 없이도 비-CNN 및 일부 CNN 기반 최신 기술 수준 모델을 능가하는 강력한 2D CNN 기반 기준선을 수립한다.

제안 방법

• 샘플링된 비디오 프레임에 대해 사전 훈련된 ImageNet CNN(예: AlexNet 및 VGG)을 고정된 특징 추출기로 사용한다.
• 공간 최대 풀링과 시간 평균 풀링을 적용하여 시간적 및 공간적 영역을 통해 특징을 집계한다.
• L2 또는 L2+L1 정규화를 사용하여 특징의 강건성과 일반화 능력을 향상시킨다.
• CNN 특징와 운동 기반 IDT+FV 특징의 예측을 평균 내어 후기 융합을 통해 외관과 운동 정보를 통합한다.
• 이벤트 검출을 위해 풀링 및 정규화된 특징에 커널 SVM 분류기를 훈련시킨다.
• 비디오 전반에 균일하게 프레임을 샘플링하고, 일관된 시간적 커버리지 확보를 위해 프레임 선택을 校정한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 이미지 기반 CNN이 미세조정 없이도 제한 없는 비디오 분류에서 경쟁 가능한 성능을 낼 수 있는가?
• RQ2 비디오 분류에서 최고의 성능을 내는 데 가장 적합한 CNN 레이어와 특징 추출 전략은 무엇인가?
• RQ3 이미지 기반 CNN을 비디오에 적용할 때 시간적 및 공간적 풀링은 최종 분류 정확도에 어떤 영향을 미치는가?
• RQ4 운동 기반 특징(IDT+FV)과의 후기 융합이 CNN 전용 접근법보다 성능 향상에 뚜렷한 기여를 하는가?
• RQ5 제안된 방법은 최신 기술 수준의 비-CNN 및 CNN 기반 비디오 분류 모델과 비교해 어떻게 성능을 내는가?

주요 결과

• TRECVID MED’14 데이터셋에서 제안된 CNN 전용 접근법은 여러 최신 기술 수준의 비-CNN 모델을 능가하며, 평균 평균 정밀도(mAP) 34.95%를 달성한다.
• CNN 특징(은닉 레이어6에서 추출)과 IDT+FV 운동 특징의 후기 융합으로 MED’14의 mAP가 38.74%로 향상되어 최신 기술 수준 성능을 달성한다.
• UCF-101 데이터셋에서 CNN-은닉 레이어6와 IDT+FV 특징의 후기 융합은 평균 정확도 89.62%를 기록하여 이중 스트림 CNN 및 LSTM 기반 접근법을 모두 능가한다.
• CNN 기반 접근법은 실시간 추론이 가능했으며, 특징 추출은 비디오 재생 시간의 0.4배로 끝나고, 23,953개의 비디오에 대해 총 15초 내로 테스트가 완료되었다.
• CNN 특징를 사용한 분류기 훈련은 90초로, 피셔 벡터를 사용한 경우보다 빠르며, 추론 또한 상당히 신속했다.
• 이 방법은 미세조정 없이도 비-CNN 및 일부 특수화된 스파atiotemporal CNN 모델을 능가하는 강력한 2D CNN 기반 기준선을 수립한다.