[논문 리뷰] Efficient Large Scale Video Classification

Balakrishnan Varadarajan, George Toderici외 2명|arXiv (Cornell University)|2015. 05. 22.

Human Pose and Action Recognition참고 문헌 26인용 수 19

한 줄 요약

이 논문은 사전 훈련된 이미지 분류기의 토글 네일 또는 플리커 이미지에 기반하여 비디오 프레임 훈련을 피하는 방식으로 대규모 비디오 분류를 위한 두 가지 효율적인 방법—MiCRObE(Mixture of Calibrated Experts)와 LSTM 기반 모델—을 제안한다. 12M-비디오 및 Sports-1M 데이터셋에서 낮은 계산 비용과 높은 정확도로 최신 기술 수준의 성능을 달성하였으며, 특히 프레임 수준 분류와 비디오 수준 예측에서 뛰어난 성능을 보였다.

ABSTRACT

Video classification has advanced tremendously over the recent years. A large part of the improvements in video classification had to do with the work done by the image classification community and the use of deep convolutional networks (CNNs) which produce competitive results with hand- crafted motion features. These networks were adapted to use video frames in various ways and have yielded state of the art classification results. We present two methods that build on this work, and scale it up to work with millions of videos and hundreds of thousands of classes while maintaining a low computational cost. In the context of large scale video processing, training CNNs on video frames is extremely time consuming, due to the large number of frames involved. We propose to avoid this problem by training CNNs on either YouTube thumbnails or Flickr images, and then using these networks' outputs as features for other higher level classifiers. We discuss the challenges of achieving this and propose two models for frame-level and video-level classification. The first is a highly efficient mixture of experts while the latter is based on long short term memory neural networks. We present results on the Sports-1M video dataset (1 million videos, 487 classes) and on a new dataset which has 12 million videos and 150,000 labels.

연구 동기 및 목표

• 수백만 개의 비디오와 수십만 개의 레이블을 포함한 초대규모 비디오 데이터셋에서 딥 러닝 모델을 훈련하는 데 도전하는 것.
• 원시 비디오 프레임에 대한 엔드 투 엔드 훈련을 피하여 훈련 시간과 계산 비용을 줄이는 것.
• 사전 훈련된 이미지 특징과 확장 가능한 학습 아키텍처를 사용하여 효율적인 프레임 수준 및 비디오 수준 분류를 가능하게 하는 것.
• 프레임 수준 인간 레이블링이 필요 없이도 큰 레이블 공간에 스케일링 가능한 방법을 개발하는 것.
• 빠른 추론 및 훈련 시간을 유지하면서도 높은 정확도의 비디오 분류를 달성하는 것.

제안 방법

• 비디오 프레임 훈련에 비용이 많이 들기 때문에, 유튜브 토글 네일 또는 플리커 이미지에 기반한 이미지 기반 CNN을 훈련하여 특징을 추출한다.
• 최대 캘리브레이션 모델을 사용하여 관련이 없는 특징-클래스 상관관계를 식별하고 제거함으로써 차원을 축소하고 효율성을 향상시킨다.
• MiCRObE를 구현하여 두 개의 분류기로 구성된 캐스케이드: 하드 음성 마이닝을 위한 약한 초기 모델과 개선된 프레임 수준 분류를 위한 정교한 전문가 혼합 모델.
• 대규모 레이블 공간에서 비디오 수준 분류를 위해 계층적 소프트맥스와 분산 훈련을 적용한다.
• 프레임 수준 특징(평균, top-k)을 비디오 수준에서 집계하여 비디오 수준 예측을 수행하고, 특징의 이른 통합(early fusion)을 사용한다.
• 이중 단계 훈련 파이프라인을 사용: 먼저 사전 추출된 특징에 기반한 기본 분류기를 훈련하고, 이후 하드 음성 및 반복적 정밀화를 통해 미세 조정한다.

실험 결과

연구 질문

• RQ1 토글 네일 또는 플리커 이미지에 기반한 사전 훈련된 이미지 분류기가 대규모 비디오 분류에서 비디오 프레임 훈련을 효과적으로 대체할 수 있는가?
• RQ2 고차원 비디오 특징 공간에서 확장 가능한 학습 파이프라인에 하드 음성 마이닝을 효율적으로 통합할 수 있는가?
• RQ3 프레임 수준 레이블링이 필요 없이도 캘리브레이션된 전문가 혼합 모델이 표준 융합 방법보다 프레임 수준 비디오 분류에서 뛰어난 성능을 낼 수 있는가?
• RQ4 계층적 소프트맥스와 분산 훈련을 적용한 LSTM 기반 모델은 초대규모 설정에서 비디오 수준 분류에 어떻게 성능을 내는가?
• RQ5 특징 집계와 이른 통합이 계산 비용을 낮춘 채 비디오 수준 예측 정확도를 얼마나 향상시킬 수 있는가?

주요 결과

• MiCRObE는 LSTM보다 뛰어난 프레임 수준 분류 성능을 보였으며, YT-12M 데이터셋에서 최고의 공개 모델에 비해 2.8% 이내의 hit@1 스코어를 기록했다.
• LSTM 모델은 Sports-1M 벤치마크에서 59.0%의 hit@1 성능을 달성하여, 비디오당 240회의 추론을 요구하는 최신 기술 수준의 모델들과 유사한 성능을 보였다.
• MiCRObE는 최대 캘리브레이션 및 무작위 음성 샘플링과 같은 단순한 베이스라인 모델보다 프레임 수준 정밀도와 융합 모델의 품질에서 뛰어난 성능을 보였다.
• 토글 네일 및 플리커 이미지에서 사전 추출된 특징에 기반한 모델은 엔드 투 엔드 비디오 프레임 훈련이 필요 없이도 높은 정확도를 달성하였으며, 훈련 시간을 크게 줄였다.
• MiCRObE와 LSTM 출력의 후기 융합(early fusion)은 성능을 추가로 향상시켰으며, 이는 두 방법 간의 상호 보완적 강점이 있음을 시사한다.
• 이 방법은 1,200만 개의 비디오와 15만 개의 레이블로도 성공적으로 스케일업되었으며, 실세계 대규모 비디오 이해에 대한 실현 가능성을 입증했다.