[논문 리뷰] CUHK & ETHZ & SIAT Submission to ActivityNet Challenge 2016.

Yuanjun Xiong, Limin Wang외 8명|arXiv (Cornell University)|2016. 08. 02.

Human Pose and Action Recognition참고 문헌 17인용 수 132

한 줄 요약

이 논문은 시각적 및 청각적 모odal 특징을 고도로 발전된 CNN 아키텍처(ResNet, Inception V3)와 새로운 집계 기법(상위-k 및 주의 가중 풀링)을 사용하여 통합하는 딥러닝 접근법을 제안한다. 스펙트로그램 기반 청각 CNN과 외부 애너테이션 없이 ActivityNet 2016 데이터에서 훈련된 앙상블 모델을 활용함으로써, 테스트 세트에서 93.23% mAP의 최상위 성능을 달성하여 도전 대회에서 1등을 차지하였다.

ABSTRACT

This paper presents the method that underlies our submission to the untrimmed video classification task of ActivityNet Challenge 2016. We follow the basic pipeline of temporal segment networks and further raise the performance via a number of other techniques. Specifically, we use the latest deep model architecture, e.g., ResNet and Inception V3, and introduce new aggregation schemes (top-k and attention-weighted pooling). Additionally, we incorporate the audio as a complementary channel, extracting relevant information via a CNN applied to the spectrograms. With these techniques, we derive an ensemble of deep models, which, together, attains a high classification accuracy (mAP $93.23\%$) on the testing set and secured the first place in the challenge.

연구 동기 및 목표

• 비트리밍 비디오에 대한 강력한 동작 인식 시스템을 개발함으로써, 자르기 전 클립보다 실제 비디오 데이터를 더 잘 대변하는 비디오에 적용 가능하게 한다.
• 외부 데이터셋이나 애너테이션에 의존하지 않고, 상보적인 시각적 및 청각적 특징을 통합하여 분류 정확도를 향상시키는 것을 목표로 한다.
• 비디오 수준의 점수로 변환하기 위해 스퍼널 수준 예측을 효과적으로 집계하는 전략을 설계함으로써, 비트리밍 비디오에서 장거리 시계열 모델링을 향상시키는 것이다.

제안 방법

• 이 방법은 비트리밍 비디오에서 1 FPS 스퍼널을 샘플링하여 프레임 수준의 분류를 수행하는 시간적 세그먼트 네트워크(TSN) 프레임워크를 사용한다.
• 시각적 특징과 운동 스트림 모델링을 위해 ResNet과 Inception V3와 같은 심층 CNN을 사용하며, ImageNet 사전 훈련 가중치로 초기화한다.
• 상위-k 풀링 및 주의 가중 풀링과 같은 새로운 집계 전략을 사용하여 스퍼널 수준의 예측을 비디오 수준 점수로 통합한다.
• 청각 특징은 전용 청각 CNN을 사용하여 스펙트로그램에서 추출되며, 시간적 안정성을 향상시키기 위해 다중 척도 입력을 사용한다.
• 청각 모델링을 위한 기준선으로는 MFCC 특징과 피셔 벡터 인코딩도 사용된다.
• 시각적 및 청각적 모델의 앙상블을 융합하여 성능을 향상시키며, 최종 예측은 훈련 및 검증 데이터를 통합하여 훈련된 모델을 사용하여 테스트 세트에서 수행된다.

실험 결과

연구 질문

• RQ1 시각적 및 청각적 모달 특징의 조합이 비트리밍 비디오에서의 동작 인식 성능을 향상시킬 수 있는가?
• RQ2 ResNet 및 Inception V3와 같은 고도로 발전된 딥 네트워크 아키텍처는 이전 모델에 비해 비트리밍 비디오 분류에서 성능을 어떻게 향상시키는가?
• RQ3 상위-k 및 주의 가중 풀링과 같은 새로운 집계 기법은 비디오 수준의 예측 정확도를 어느 정도 향상시키는가?
• RQ4 CNN를 통해 처리된 스펙트로그램에서 유도된 청각 특징은 시각적 특징과 의미 있는 보완 정보를 제공하는가?
• RQ5 실시간 추론을 시뮬레이션하기 위해 1초당 1 프레임만 사용할 경우, 시스템은 높은 성능을 유지하는가?

주요 결과

• 최종 앙상블 모델은 ActivityNet 2016 테스트 세트에서 93.23% mAP를 달성하여 도전 대회에서 1등을 차지하였다.
• 1 프레임당 1초만 사용하는 단일 시각 CNN 모델이 91.2% mAP를 기록하여 높은 효율성과 실용성을 입증하였다.
• 시각적 및 청각적 모델의 조합으로 검증 세트에서 mAP가 90.4%(시각적 모델 전용)에서 90.9%로 향상되었다.
• 상위-k 및 주의 가중 풀링 전략은 앙상블 설정에서 외관 모델의 mAP를 기준선 82.9%에서 85.9%로 향상시켰다.
• 다중 척도 스펙트로그램을 사용한 청각 CNN은 단독으로 사용되었을 때 MFCC+SVM(14.2%)보다 뛰어난 10.3% mAP를 기록하였다.
• ImageNet 사전 훈련을 제외하고는 외부 데이터나 애너테이션을 사용하지 않고도 최신 기술 수준의 성능을 달성하였다.