[논문 리뷰] A Discriminative CNN Video Representation for Event Detection

Zhongwen Xu, Yi Yang외 1명|arXiv (Cornell University)|2014. 11. 14.

Human Pose and Action Recognition참고 문헌 36인용 수 29

한 줄 요약

이 논문은 표준 풀링 대신 잠재 개념 기술자와 고급 인코딩 기법을 사용하여 이벤트 검출을 위한 분류적 CNN 영상 표현을 제안한다. 이는 기존의 상태의 기준을 초월하는 성능을 달성하며, TRECVID MEDTest 13에서 44.6% mAP, MEDTest 14에서 36.8%를 기록한다. 이는 개선된 밀도 있는 궤적과 기존의 CNN 기반 기준보다 뚜렷하게 뛰어나며, 제품 양자화 압축을 통해 효율적인 추론을 가능하게 한다.

ABSTRACT

In this paper, we propose a discriminative video representation for event detection over a large scale video dataset when only limited hardware resources are available. The focus of this paper is to effectively leverage deep Convolutional Neural Networks (CNNs) to advance event detection, where only frame level static descriptors can be extracted by the existing CNN toolkit. This paper makes two contributions to the inference of CNN video representation. First, while average pooling and max pooling have long been the standard approaches to aggregating frame level static features, we show that performance can be significantly improved by taking advantage of an appropriate encoding method. Second, we propose using a set of latent concept descriptors as the frame descriptor, which enriches visual information while keeping it computationally affordable. The integration of the two contributions results in a new state-of-the-art performance in event detection over the largest video datasets. Compared to improved Dense Trajectories, which has been recognized as the best video representation for event detection, our new representation improves the Mean Average Precision (mAP) from 27.6% to 36.8% for the TRECVID MEDTest 14 dataset and from 34.0% to 44.6% for the TRECVID MEDTest 13 dataset. This work is the core part of the winning solution of our CMU-Informedia team in TRECVID MED 2014 competition.

연구 동기 및 목표

• 200,000개 영상으로 구성된 TRECVID MEDTest 14와 같은 대규모 영상 데이터셋에서 개선된 밀도 있는 궤적(IDT)을 추출할 경우 발생하는 높은 계산 비용을 해결한다.
• 이미지 작업에서 빠르고 정확한 성능을 보이는 CNN 기반 영상 표현은 수작업으로 만든 특징(예: IDT)에 비해 성능이 열등한 점을 극복한다.
• 제한된 하드웨어 자원을 가진 소규모 연구 팀이 사용할 수 있는 계산 비용이 효율적이면서도 높은 분류 능력을 갖춘 영상 표현을 개발한다.
• CNN 기반 영상 특징의 제품 양자화 압축을 통해 성능 손실 없이 빠른 추론과 확장 가능한 배포를 가능하게 한다.

제안 방법

• 표준 평균 풀링 또는 최대 풀링을 대체하여, 특히 제품 양자화를 사용한 VLAD와 같은 학습된 인코딩 방법을 적용하여 프레임 수준의 CNN 기술자를 분류적 영상 수준 표현으로 집계한다.
• 잠재 개념 기술자를 프레임 수준의 CNN 기술자로 도입하여 시각적 의미를 풍부하게 하면서도 계산 비용은 낮게 유지한다.
• 다양한 CNN 레이어(예: fc6, fc7, SPP)의 후기 융합을 활용하여 상보적인 표현을 통합하고 정확도를 향상시킨다.
• 압축된 영상 특징을 위한 제품 양자화(PQ)를 적용하여 저장 용량을 48.8GB에서 1GB 미만으로 줄이고 예측 시 빠른 I/O를 가능하게 한다.
• 이미지넷 사전 학습 가중치를 사용한 전이 학습을 통해 CNN 모델을 틀 수준의 감독 신호를 활용해 미세 조정한다.
• IDT와 MFCC 등의 다양한 표현(예: IDT 및 MFCC)을 후기 융합하여 상호 보완성을 입증하고 성능을 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 단일 컴퓨터 환경에서 제한된 자원으로도 CNN 기반 영상 표현이 개선된 밀도 있는 궤적(IDT)과 같은 수작업 특징을 능가할 수 있는가?
• RQ2 표준 풀링을 학습된 인코딩 방법(예: VLAD)으로 대체할 경우, CNN 기반 영상 표현의 분류 능력이 뚜렷하게 향상되는가?
• RQ3 잠재 개념 기술자를 사용하면 계산 비용을 증가시키지 않으면서도 프레임 수준의 CNN 기술자 품질을 향상시킬 수 있는가?
• RQ4 제품 양자화를 통해 영상 표현을 얼마나 압축할 수 있으며, 이로 인해 대규모 데이터셋에서 빠른 추론을 위한 성능 손실 없이 구현 가능한가?
• RQ5 다양한 CNN 레이어와 모odal(예: 음성, 운동)의 후기 융합은 전체 이벤트 검출 정확도를 어떻게 향상시키는가?

주요 결과

• 제안된 방법은 TRECVID MEDTest 13에서 44.6% mAP, MEDTest 14에서 36.8%를 기록하여 각각 개선된 밀도 있는 궤적(IDT)보다 31.2%, 33.3% 상대적 향상률을 기록한다.
• 10Ex 설정에서 MEDTest 13에서는 29.8% mAP, MEDTest 14에서는 24.5% mAP를 달성하여 IDT 대비 각각 65.6%, 76.3% 상대적 향상률을 기록한다.
• 잠재 개념 기술자와 학습된 인코딩(VLAD)의 사용은 표준 평균 풀링 방식보다 뚜렷하게 뛰어나며, 이는 MEDTest 13에서 32.7%, MEDTest 14에서 24.8% mAP를 기록한 반면, 본 방법은 훨씬 높은 성능을 달성한다.
• 제품 양자화를 통해 전체 200,000개 영상으로 구성된 MEDTest 14 컬렉션에 대해 20개 스레드를 사용해 1개 이벤트당 4.1초 내로 추론이 가능해져 높은 효율성을 입증한다.
• 다양한 CNN 레이어(fc6, fc7, SPP)와 모달(예: IDT 및 MFCC)의 후기 융합을 통해 100Ex에서 48.6% mAP, 10Ex에서 32.2% mAP를 달성하여 최고의 경쟁 시스템을 초월한다.
• 본 방법은 다양한 학습 조건에서도 강인하며 확장성도 우수하여, 10종 이상의 특징을 융합한 시스템과 비교해도 최신 기준 수준의 성능을 달성한다.