[論文レビュー] Efficient Video Classification Using Fewer Frames

Shweta Bhardwaj, Mukundhan Srinivasan+1 more|arXiv (Cornell University)|Feb 27, 2019

Human Pose and Action Recognition参考文献 25被引用数 4

ひとこと要約

この論文では、動画の一部のフレームのみを処理することで、計算効率の高い動画分類モデルを構築するための蒸留ベースの手法を提案している。計算負荷の高い教師ネットワークがすべてのフレームを処理するのを模倣する軽量な学生ネットワークを訓練することで、FLOPsを約90%削減し、推論時間を30%高速化するが、YouTube-8Mデータセットでは精度の低下がほとんどない。

ABSTRACT

Recently,there has been a lot of interest in building compact models for video classification which have a small memory footprint (<1 GB). While these models are compact, they typically operate by repeated application of a small weight matrix to all the frames in a video. E.g. recurrent neural network based methods compute a hidden state for every frame of the video using a recurrent weight matrix. Similarly, cluster-and-aggregate based methods such as NetVLAD, have a learnable clustering matrix which is used to assign soft-clusters to every frame in the video. Since these models look at every frame in the video, the number of floating point operations (FLOPs) is still large even though the memory footprint is small. We focus on building compute-efficient video classification models which process fewer frames and hence have less number of FLOPs. Similar to memory efficient models, we use the idea of distillation albeit in a different setting. Specifically, in our case, a compute-heavy teacher which looks at all the frames in the video is used to train a compute-efficient student which looks at only a small fraction of frames in the video. This is in contrast to a typical memory efficient Teacher-Student setting, wherein both the teacher and the student look at all the frames in the video but the student has fewer parameters. Our work thus complements the research on memory efficient video classification. We do an extensive evaluation with three types of models for video classification,viz.(i) recurrent models (ii) cluster-and-aggregate models and (iii) memory-efficient cluster-and-aggregate models and show that in each of these cases, a see-it-all teacher can be used to train a compute efficient see-very-little student. We show that the proposed student network can reduce the inference time by 30% and the number of FLOPs by approximately 90% with a negligible drop in the performance.

研究の動機と目的

• 動画分類モデルの計算コストが高いため、メモリ使用量は低いが、その計算コストを低減すること。
• すべてのフレームを処理するコンactな動画モデルの推論時間とFLOPsを低減すること。
• 教師がすべてのフレームを参照するが、学生はスパarselyなフレームのサブセットのみを処理するような蒸留フレームワークを構築すること。
• RNN、NetVLAD、NeXtVLADを含む複数の動画分類アーキテクチャにおいて、有効性を実証すること。
• 精度を犠牲にせずに、低パワーデバイスへの効率的な動画モデルのデプロイを可能にすること。

提案手法

• 動画のすべてのフレームを処理して最終的な動画表現を生成する、計算負荷の高い教師ネットワークを訓練する。
• FLOPsを最小限に抑えるために、kフレーム（例：j番目のフレームごと）のみを処理する軽量な学生ネットワークを訓練する。
• 複数の損失関数を用いた知識蒸留：表現類似度損失（$L_{rep}$）、分類クロスエントロピー損失（$L_{CE}$）、予測分布損失（$L_{pred}$）。
• 学生の学習を最適化するため、直列および並列の両方の訓練パラダイムを適用する。
• 特徴レベルおよび出力レベルの監督を用いて、学生の予測と隠れ表現を教師のものと一致させる。
• mAPとGAPを指標として、YouTube-8Mデータセット上で学生モデルを評価し、均一サンプリングベースラインおよびスカイラインモデルと比較する。

Figure 1 : Architecture of Teacher-Student network for video classification

実験結果

リサーチクエスチョン

• RQ1 すべてのフレームを参照する教師モデルと比較して、部分フレームのみを処理する学生モデルが同等の性能を達成できるか？
• RQ2 全フレームを参照する教師から蒸留することで、ランダムまたは均一なフレームサンプリングと比較して、スパarselyなフレームを処理する学生モデルの精度が向上するか？
• RQ3 学生と教師の表現および予測を一致させるために最適な損失関数の組み合わせ（$L_{rep}$、$L_{CE}$、$L_{pred}$）は何か？
• RQ4 複数の時刻における中間表現（隠れ状態）を一致させることで、最終表現のみを一致させる場合と比較して学生の性能が向上するか？
• RQ5 この蒸留アプローチは、RNN、NetVLAD、NeXtVLADを含むさまざまな動画分類アーキテクチャに一般化可能か？

主な発見

• k=30フレームを使用した場合、学生モデルは全フレームを処理する教師（スカイラインモデル）と比較して、FLOPsを約90%削減し、推論時間を30%高速化した。
• NetVLADやNeXtVLADを含むすべての評価対象モデルにおいて、学生モデルは均一サンプリングベースライン（Uniform-k）をmAPおよびGAPの両指標で上回った。
• 最も良い性能は、$L_{rep}$と$L_{pred}$損失を組み合わせた場合に得られ、直列訓練戦略が最も一貫性のある結果をもたらした。
• 訓練中に中間表現を一致させても、最終表現のみを一致させる場合と比較して顕著な利益は得られず、最終表現の一致が十分であることが示唆された。
• k=30のとき、学生モデルはほぼスカイライン性能を維持していた：mAPは0.9–2%、GAPは0.5–0.9%の低下にとどまり、フレームの一部しか処理しなかったにもかかわらず。
• この手法は、NeXtVLADのようなメモリ効率の高いモデルを含む多様なアーキテクチャに有効であり、広範な適用可能性を示した。

(a) Training with $L_{rep}$