[논문 리뷰] Aggregating Frame-level Features for Large-Scale Video Classification

Shaoxiang Chen, Xi Wang외 4명|arXiv (Cornell University)|2017. 07. 04.

Human Pose and Action Recognition참고 문헌 2인용 수 14

한 줄 요약

이 논문은 YouTube-8M 데이터셋의 프레임 수준 특징을 사용하여 대규모 비디오 분류를 위한 다중 모델 앙상블 방법을 제안한다. 순환 신경망(RNNs), 게이트형 RNN 변종, 그리고 학습 가능한 일반화된 VLAD 레이어를 조합하여 시간적 특징을 통합하며, 사설 테스트 세트에서 SOTA 수준의 GAP@20 0.84198을 달성하여 650개 팀 중 4위를 기록하였다.

ABSTRACT

This paper introduces the system we developed for the Google Cloud & YouTube-8M Video Understanding Challenge, which can be considered as a multi-label classification problem defined on top of the large scale YouTube-8M Dataset. We employ a large set of techniques to aggregate the provided frame-level feature representations and generate video-level predictions, including several variants of recurrent neural networks (RNN) and generalized VLAD. We also adopt several fusion strategies to explore the complementarity among the models. In terms of the official metric GAP@20 (global average precision at 20), our best fusion model attains 0.84198 on the public 50\% of test data and 0.84193 on the private 50\% of test data, ranking 4th out of 650 teams worldwide in the competition.

연구 동기 및 목표

• 원본 비디오 또는 옵티컬 플로우에 접근할 수 없는 상황에서 사전 추출된 프레임 수준 특징으로부터 비디오 수준 분류 문제를 해결한다.
• 비디오의 운동 및 시퀀스 동적 특성을 모델링하기 위한 효과적인 시간적 통합 기법을 탐색한다.
• 다양한 아키텍처의 상호 보완적 강점을 활용하는 모델 융합 전략을 통해 성능을 향상시킨다.
• 경쟁 제약 조건 하에서 YouTube-8M 벤치마크에서 최상위 성능을 달성한다.
• 낮은 복잡도의 방법인 일반화된 VLAD가 대규모 환경에서 더 복잡한 RNN보다 경쟁력을 가질 수 있음을 입증한다.

제안 방법

• LSTM, GRU 및 최적화된 변종(예: 순환 드롭아웃, 배치 정규화, 잔여 연결 포함)을 포함한 RNN의 다양한 변종을 사용하여 프레임 특징으로부터 시간적 의존성을 학습한다.
• 시간에 걸쳐 프레임 수준 특징을 통합하기 위해 학습 가능한 일반화된 VLAD 레이어를 도입하며, RNN보다 계산 비용이 낮은 비디오 수준 표현의 엔드 투 엔드 학습을 가능하게 한다.
• 학습 중에 여러 체크포인트에서 모델을 훈련하고, 예측 결과를 학습된 내부 모델 가중치를 사용해 융합하여 정확도와 일반화 능력을 향상시킨다.
• 다양한 모델(예: RNN, GRU, NetVLAD, MoE)의 예측 결과를 학습된 가중치를 사용해 상호 융합하여 성능을 향상시킨다.
• 다른 시간 스케일에서 특징 변환을 적용하여 표현의 다양성을 높인다.
• 내부 및 외부 모델 융합 가중치를 학습하거나 경험적으로 설정함으로써 융합 과정을 최적화한다.

실험 결과

연구 질문

• RQ1 원본 비디오에 접근할 수 없는 상황에서 RNN 기반 모델이 사전 추출된 프레임 수준 특징을 효과적으로 통합하여 대규모 비디오 분류를 수행할 수 있는가?
• RQ2 학습 가능한 일반화된 VLAD 레이어는 RNN과 비교하여 시간적 특징을 통합하는 데 어떤가?
• RQ3 모델 앙상블 융합이 YouTube-8M 벤치마크에서 성능 향상에 얼마나 기여하는가?
• RQ4 조기 및 후기 학습 체크포인트를 효과적으로 융합하여 모델의 강건성과 정확도를 향상시킬 수 있는가?
• RQ5 비디오 특징 통합을 위한 RNN과 일반화된 VLAD을 사용할 경우, 모델 복잡도와 성능 간의 상호 상충 관계는 어떠한가?

주요 결과

• 최고 성능을 보인 모델은 다양한 아키텍처의 앙상블로 예측을 융합한 것으로, 공개 테스트 세트에서 GAP@20 0.84198, 사설 테스트 세트에서 0.84193을 기록하여 650개 팀 중 4위를 차지했다.
• 단일 NetVLAD 모델은 GAP@20 0.79175를 기록하여 RNN보다 훨씬 낮은 계산 비용으로도 뛰어난 성능을 보였다.
• 다양한 모델의 앙상블 융합은 일관되게 성능 향상을 이끌었으며, Ensemble 2(다양한 모델 및 추가 변종 융합)가 가장 높은 GAP@20 0.84198을 기록했다.
• 다른 학습 체크포인트의 예측 결과를 사용한 내부 모델 융합은 일반화 능력을 향상시켰으며, 최적의 가중치는 네 개의 체크포인트에 대해 각각 0.4, 0.3, 0.2, 0.1로 확인되었다.
• 순환 드롭아웃과 배치 정규화의 사용은 RNN 기반 모델의 수렴과 성능 향상에 기여했으며, 특히 깊은 아키텍처에서 두드러졌다.
• RNN, GRU, RWA, NetVLAD 등의 다양한 모델을 상호 융합한 결과는 서로 다른 통합 전략 간의 상호 보완성을 확인시켰다.