[論文レビュー] NeXtVLAD: An Efficient Neural Network to Aggregate Frame-level Features for Large-scale Video Classification

Rongcheng Lin, Jing Xiao+1 more|arXiv (Cornell University)|Nov 12, 2018

Human Pose and Action Recognition参考文献 29被引用数 5

ひとこと要約

NeXtVLADは、VLADベースの時系列集約の前に、グループ化されたアテンションを用いて高次元のフレームレベル特徴を低次元ベクトルに分解するパrameter効率の良いニューラルネットワークアーキテクチャを提案する。YouTube-8Mベンチマークにおいて7900万パラメータで、プライベートGAPスコア0.87846を達成し、最先端の性能を実現した。

ABSTRACT

This paper introduces a fast and efficient network architecture, NeXtVLAD, to aggregate frame-level features into a compact feature vector for large-scale video classification. Briefly speaking, the basic idea is to decompose a high-dimensional feature into a group of relatively low-dimensional vectors with attention before applying NetVLAD aggregation over time. This NeXtVLAD approach turns out to be both effective and parameter efficient in aggregating temporal information. In the 2nd Youtube-8M video understanding challenge, a single NeXtVLAD model with less than 80M parameters achieves a GAP score of 0.87846 in private leaderboard. A mixture of 3 NeXtVLAD models results in 0.88722, which is ranked 3rd over 394 teams. The code is publicly available at https://github.com/linrongc/youtube-8m.

研究の動機と目的

• NetVLADのパrameter非効率性を解決する。NetVLADは高次元の特徴を生成し、大規模な分類ヘッドを必要とする。
• 過学習の低減により、大規模動画分類における学習効率と一般化性能を向上させる。
• 計算およびメモリ制約下で、フレームレベル特徴を効果的かつ高速にコンパクトな動画レベル表現に集約することを可能にする。
• 最小限のモデルサイズと高速な収束を実現しつつ、YouTube-8Mチャレンジで競争力のある性能を達成する。

提案手法

• 学習可能なアテンション機構を用いて、高次元のフレームレベル特徴をG個の低次元ベクトルに分解する。
• 各グループに対して独立してVLAD集約を適用し、次元削減と特徴のコンパクト化を実現する。
• グループ化されたVLAD出力を連結し、最終的な分類ヘッドを介して統合された動画レベル表現に統合する。
• グループ間で共有されたアテンション機構を用い、異なる特徴部分空間への重要度を動的に割り当てる。
• 一般化性能と学習安定性を向上させるためにドロップアウトおよび正規化層を適用する。
• アンサンブルモデルで温度スケーリング（T=3）を用いた知識蒸留を実施し、性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 高次元のフレーム特徴をグループ化され、アテンション重みが付与された部分ベクトルに分解することで、動画レベル表現学習の効率性と有効性が向上するか？
• RQ2 大規模動画分類において、NetVLADと比較して、提案されたNeXtVLADアーキテクチャは過学習を軽減し、収束を加速するか？
• RQ3 より小さなNeXtVLADモデルは、より大きなNetVLADモデルと比較して、正確性とパラメータ効率の面でどれほど優れているか？
• RQ4 グループ化アテンションと早期特徴分解の使用が、YouTube-8Mデータセットにおける最終的な動画分類性能にどのように影響するか？
• RQ5 NeXtVLADを用いたアンサンブルモデルは、パラメータ増加を最小限に抑えながら最先端の結果を達成できるか？

主な発見

• 5500万パラメータのNeXtVLADは、バリデーションセットでGAPスコア0.8685を達成し、はるかに多くのパラメータを要するNetVLADモデルを上回った。
• 単一のNeXtVLADモデル（7900万パラメータ）は、プライベートGAPスコア0.87846を達成し、YouTube-8Mチャレンジで394チーム中15位となった。
• 3つのNeXtVLADモデルのアンサンブルは、プライベートGAPスコア0.88722を達成し、コンペティション全体で3位となった。
• NeXtVLADはNetVLADと比較して収束が早く、過学習に対してもより強い耐性を示し、初期学習エポックで顕著な性能向上を示した。
• アブレーションスタディの結果、知識蒸留における温度スケーリング（T=3）が性能向上に寄与したが、さらなるチューニングでより良い結果が得られる可能性があった。
• 8グループ（8G）のモデルは、8900万パラメータでローカルGAPスコア0.8723を達成し、グループサイズがパフォーマンスと効率に顕著な影響を与えることを示した。