[논문 리뷰] NeXtVLAD: An Efficient Neural Network to Aggregate Frame-level Features for Large-scale Video Classification

Rongcheng Lin, Jing Xiao외 1명|arXiv (Cornell University)|2018. 11. 12.

Human Pose and Action Recognition참고 문헌 29인용 수 5

한 줄 요약

NeXtVLAD는 프레임 수준의 고차원 특징을 그룹화된 어텐션을 사용하여 저차원 벡터로 분해한 후 VLAD 기반의 시간적 집계를 적용함으로써 파arameter 효율적인 신경망 아키텍처를 제안한다. 이는 79M 파라미터와 사설 GAP 점수 0.87846을 가지고 YouTube-8M 벤치마크에서 최신 기술 성능을 달성한다.

ABSTRACT

This paper introduces a fast and efficient network architecture, NeXtVLAD, to aggregate frame-level features into a compact feature vector for large-scale video classification. Briefly speaking, the basic idea is to decompose a high-dimensional feature into a group of relatively low-dimensional vectors with attention before applying NetVLAD aggregation over time. This NeXtVLAD approach turns out to be both effective and parameter efficient in aggregating temporal information. In the 2nd Youtube-8M video understanding challenge, a single NeXtVLAD model with less than 80M parameters achieves a GAP score of 0.87846 in private leaderboard. A mixture of 3 NeXtVLAD models results in 0.88722, which is ranked 3rd over 394 teams. The code is publicly available at https://github.com/linrongc/youtube-8m.

연구 동기 및 목표

• 분류 헤드가 크기가 큰 고차원 특징을 필요로 하는 NetVLAD의 파라미터 비효율성을 해결한다.
• 과적합을 줄임으로써 대규모 영상 분류에서 학습 효율성과 일반화 능력을 향상시킨다.
• 계산 및 메모리 제약 조건 하에서 프레임 수준의 특징을 효과적이고 빠르게 압축된 영상 수준 표현으로 집계할 수 있도록 한다.
• 최소한의 모델 크기와 더 빠른 수렴을 통해 YouTube-8M 챌린지에서 경쟁적인 성능을 달성한다.

제안 방법

• 학습 가능한 어텐션 메커니즘을 사용하여 고차원 프레임 수준 특징을 G개의 저차원 벡터 그룹으로 분해한다.
• 각 그룹에 대해 독립적으로 VLAD 집계를 적용하여 차원을 감소시키고 특징의 압축성을 향상시킨다.
• 그룹화된 VLAD 출력을 연결하여 통합된 영상 수준 표현을 생성하고, 최종 분류 헤드를 적용한다.
• 모든 그룹 간에 공유된 어텐션 메커니즘을 사용하여 다양한 특징 하위공간에 중요도를 동적으로 할당한다.
• 일반화 및 학습 안정성을 향상시키기 위해 드롭아웃 및 정규화 레이어를 적용한다.
• 앙상블 모델에서 온도 스케일링(T=3)을 사용한 지식 증착을 적용하여 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 고차원 프레임 특징을 그룹화되고 어텐션 가중된 부분벡터로 분해하는 것이 영상 수준 표현 학습의 효율성과 효과성에 기여하는가?
• RQ2 대규모 영상 분류에서 NetVLAD에 비해 제안된 NeXtVLAD 아키텍처가 과적합을 줄이고 수렴 속도를 높이는가?
• RQ3 더 작은 NeXtVLAD 모델이 정확도와 파라미터 효율성 측면에서 더 큰 NetVLAD 모델을 얼마나 뛰어넘을 수 있는가?
• RQ4 그룹화된 어텐션과 초기 특징 분해는 YouTube-8M 데이터셋에서 최종 영상 분류 성능에 어떤 영향을 미치는가?
• RQ5 NeXtVLAD를 사용한 앙상블 모델이 파라미터 증가를 최소화하면서 최신 기술 성능을 달성할 수 있는가?

주요 결과

• 55M 파라미터를 가진 NeXtVLAD는 검증 세트에서 GAP 점수 0.8685를 기록하여 훨씬 더 많은 파라미터를 사용하는 NetVLAD 모델들을 능가했다.
• 단일 NeXtVLAD 모델이 오직 79M 파라미터만을 사용하여 사설 GAP 점수 0.87846을 달성했으며, YouTube-8M 챌린지에서 394개 팀 중 15위를 기록했다.
• 세 개의 NeXtVLAD 모델로 구성된 앙상블은 사설 GAP 점수 0.88722를 기록하여 대회에서 종합 3위를 차지했다.
• NeXtVLAD는 NetVLAD보다 수렴 속도가 빠르고 과적합에 더 강건했으며, 초기 학습 에포크에서 뚜렷한 성능 향상을 보였다.
• 제거 분석 결과, 지식 증착에서 온도 스케일링(T=3)이 성능 향상에 기여했지만, 추가 튜닝으로 더 나은 성능을 얻을 수 있었다.
• 8개 그룹(8G)을 가진 모델는 89M 파라미터로 로컬 GAP 0.8723을 기록하여 그룹 수가 성능 및 효율성에 측정 가능한 영향을 미친다는 것을 입증했다.