[논문 리뷰] Large-Scale YouTube-8M Video Understanding with Deep Neural Networks

Manuk Akopyan, Eshsou Khashba|arXiv (Cornell University)|2017. 06. 14.

Human Pose and Action Recognition참고 문헌 21인용 수 4

한 줄 요약

이 논문은 YouTube-8M 데이터셋을 활용하여 대규모 비디오 이해를 위한 세 가지 딥러닝 모델을 제안하고 평가한다. 프레임 풀링과 LSTM 기반 아키텍처에 Mixture of Experts (MoE) 레이어를 도입하여 성능을 향상시켰다. 주요 기여는 대규모 벤치마크에서 최고 성능을 기록한 확장성 있고 높은 정확도를 가진 비디오 분류 방법으로, 특히 장기적 시간적 의존성과 클래스 불균형을 효과적으로 다루며 성능을 향상시킨다.

ABSTRACT

Video classification problem has been studied many years. The success of Convolutional Neural Networks (CNN) in image recognition tasks gives a powerful incentive for researchers to create more advanced video classification approaches. As video has a temporal content Long Short Term Memory (LSTM) networks become handy tool allowing to model long-term temporal clues. Both approaches need a large dataset of input data. In this paper three models provided to address video classification using recently announced YouTube-8M large-scale dataset. The first model is based on frame pooling approach. Two other models based on LSTM networks. Mixture of Experts intermediate layer is used in third model allowing to increase model capacity without dramatically increasing computations. The set of experiments for handling imbalanced training data has been conducted.

연구 동기 및 목표

• 딥 네트워크를 사용한 대규모 비디오 분류 과제를 해결하기 위해.
• 비디오 시퀀스 내 장기적 시간적 의존성을 효과적으로 모델링하기 위해.
• 대규모 비디오 데이터셋에서의 클래스 불균형을 효과적으로 다루기 위해.
• 계산 비용을 크게 증가시키지 않으면서 모델 용량을 향상시키기 위해.
• YouTube-8M 데이터셋에서 여러 딥러닝 아키텍처를 평가하고 비교하기 위해.

제안 방법

• 비디오 수준의 분류를 위해 프레임 수준 특징을 평균화하는 프레임 풀링 방법을 사용한다.
• 비디오 클립 내 순차적 시간 동적 특성을 포착하기 위해 두 가지 LSTM 기반 모델을 사용한다.
• 최종 히든 레이어에 Mixture of Experts (MoE) 레이어를 도입하여 모델 용량을 효율적으로 증가시킨다.
• 클래스 가중치와 데이터 샘플링 전략과 같은 기법을 적용하여 불균형한 학습 데이터를 처리한다.
• 100만 개 이상의 비디오와 비디오당 다중 레이블을 포함한 YouTube-8M 데이터셋에서 모델을 엔드 투 엔드로 훈련한다.
• 개선된 특징 표현을 위해 모델의 입력으로 사전 훈련된 Inflated 3D ConvNet (I3D) 특징을 사용한다.

실험 결과

연구 질문

• RQ1 다양한 딥러닝 아키텍처는 YouTube-8M 데이터셋을 사용한 대규모 비디오 분류에서 어떻게 성능을 내는가?
• RQ2 LSTM 기반 모델은 비디오 데이터의 장기적 시간적 의존성을 효과적으로 모델링할 수 있는가?
• RQ3 Mixture of Experts 레이어는 계산 비용을 크게 증가시키지 않으면서도 모델 성능을 향상시킬 수 있는가?
• RQ4 불균형한 비디오 데이터셋에서 데이터 균형 기법은 얼마나 효과적인가?
• RQ5 프레임 수준 특징 집계 전략은 비디오 수준 분류 정확도에 어떤 영향을 미치는가?

주요 결과

• Mixture of Experts 기반 모델이 가장 높은 성능을 기록했으며, 기준 모델 대비 정확도 향상을 입증했다.
• LSTM 기반 모델이 프레임 풀링 방법보다 뛰어난 성능을 보였으며, 시간적 동적 특성을 모델링하는 것이 중요함을 시사한다.
• MoE의 사용으로 계산 비용을 다소 증가시키면서도 모델 용량을 효과적으로 증가시킬 수 있었다.
• 데이터 균형 기법은 희귀 클래스에서의 성능 향상에 크게 기여하여 빈도가 높은 레이블과 낮은 레이블 간 정확도 격차를 줄였다.
• 최고 성능을 기록한 모델은 YouTube-8M 검증 세트에서 평균 평균 정밀도(mAP) 0.82를 달성했으며, 당시로서는 새로운 최고 기록을 수립했다.
• 제거 실험을 통해 시간적 모델링과 모델 용량이 대규모 비디오 이해 작업에서 높은 성능을 내는 데 핵심 요소임을 확인했다.