[논문 리뷰] Temporal Modeling Approaches for Large-scale Youtube-8M Video Understanding

Fu Li, Chuang Gan외 7명|arXiv (Cornell University)|2017. 07. 14.

Video Analysis and Summarization참고 문헌 21인용 수 49

한 줄 요약

이 논문은 YouTube-8M 데이터셋에서 사전 추출한 특징을 사용하여 대규모 비디오 인식을 위한 세 가지 새로운 시간 모델링 방법—이중 스트림 순환 모델, 패스트포워드 순환 모델, 시간 잔차 컨볼루션 신경망—을 제안한다. 깊이 있는 양방향 LSTM과 패스트포워드 연결, 잔차 학습을 활용하여 공개 테스트 세트에서 82.75% GAP@20를 달성하였으며, 이는 대회에서 3위를 기록하였다.

ABSTRACT

This paper describes our solution for the video recognition task of the Google Cloud and YouTube-8M Video Understanding Challenge that ranked the 3rd place. Because the challenge provides pre-extracted visual and audio features instead of the raw videos, we mainly investigate various temporal modeling approaches to aggregate the frame-level features for multi-label video recognition. Our system contains three major components: two-stream sequence model, fast-forward sequence model and temporal residual neural networks. Experiment results on the challenging Youtube-8M dataset demonstrate that our proposed temporal modeling approaches can significantly improve existing temporal modeling approaches in the large-scale video recognition tasks. To be noted, our fast-forward LSTM with a depth of 7 layers achieves 82.75% in term of GAP@20 on the Kaggle Public test set.

연구 동기 및 목표

• 원시 비디오 대신 사전 추출된 프레임 수준의 특징을 사용하여 대규모 비디오 인식 문제에 도전한다.
• 비디오 시퀀스에서 장거리 시간적 의존성을 포착하는 데에 한계가 있는 浅층 순환 모델의 한계를 극복한다.
• 700만 개 이상의 비디오와 4,716개의 클래스를 포함하는 YouTube-8M 데이터셋에서 다중 레이블 비디오 분류 성능을 향상시킨다.
• 앙상블 학습을 통해 성능 향상을 이끌어내기 위해 상호보완적인 시간 모델링 기법을 탐구한다.
• 산업 규모의 비디오 이해 작업에 적합한 확장성 있고 견고한 시간 모델링 아키텍처를 개발한다.

제안 방법

• 시각(_RGB_) 및 음성 특징을 별도로 처리하기 위해 이중 스트림 양방향 LSTM 또는 GRU를 사용하고, 이후 어텐션 메커니즘과 특징 결합을 수행한다.
• 깊이 있는 양방향 LSTM 아키텍처(최대 7층)에 패스트포워드 연결을 도입하여 학습 안정성과 기울기 흐름 향상을 도모한다.
• 1D 컨볼루션을 사용하여 프레임 수준의 특징에 대해 9개의 잔차 블록을 가진 시간 잔차 컨볼루션 신경망을 설계하고, 배치 정규화와 ReLU 활성화 함수를 적용한다.
• 시간 컨볼루션 신경망의 출력을 양방향 LSTM과 어텐션 레이어에 결합하여 최종 분류를 수행한다.
• 어 attention 후에 모odal별 표현을 후행적으로 결합하고, 완전 연결 레이어와 시그모이드 활성화 함수를 적용하여 후처리한다.
• 레이블 스무딩과 Adam 최적화를 사용한 교차 엔트로피 손실을 기반으로 엔드 투 엔드로 모델을 학습하고, 검증 성능 기반 조기 정지 전략을 적용한다.

실험 결과

연구 질문

• RQ1 잔차 및 패스트포워드 연결을 갖춘 깊이 있는 순환 네트워크가 사전 추출된 특징을 사용한 대규모 비디오 인식에서 얕은 모델보다 우월한 성능을 내는가?
• RQ2 시각 및 음성 모달리티 특징을 별도로 처리한 후 융합하는 이중 스트림 아키텍처는 얼마나 효과적인가?
• RQ3 순환 모델에 시간 컨볼루션 네트워크를 융합하면 순수한 RNN에 비해 비디오 표현 학습 성능이 향상되는가?
• RQ4 다양한 시간 모델링 접근 방식이 앙상블된 경우, 성능 향상에 얼마나 기여하는가?
• RQ5 패스트포워드 연결과 같은 아키텍처 혁신으로 최적화된 깊이 있는 순차 모델은 대규모 비디오 데이터셋에서 효과적으로 학습될 수 있는가?

주요 결과

• 7층의 패스트포워드 LSTM은 공개 테스트 세트에서 82.75% GAP@20를 달성하여 얕은 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 이중 스트림 GRU 모델은 82.366% GAP@20를 기록하여 모달리티별 처리와 어텐션 기반 융합의 효과를 입증하였다.
• 깊이, 셀 크기, 아키텍처가 상이한 57개의 다양한 모델을 앙상블하여 성능을 84.542% GAP@20로 향상시켰으며, 이는 대회에서 3위를 기록하였다.
• 시간 잔차 컨볼루션 신경망은 80.889% GAP@20를 달성하여 1D 컨볼루션으로 프레임 수준의 특징에서 시간적 동역학을 효과적으로 모델링할 수 있음을 보여주었다.
• 제안된 모델들은 전통적인 방법인 비디오 수준 평균 풀링(80.824%)과 VLAD 인코딩(80.423%)보다 뚜렷이 뛰어난 성능을 보였다.
• 패스트포워드 연결은 깊이 있는 LSTM 아키텍처(최대 7층)의 안정적인 학습을 가능하게 하여 깊은 RNN에서 흔히 발생하는 기울기 소실 문제를 완화시켰다.