[論文レビュー] Revisiting the Effectiveness of Off-the-shelf Temporal Modeling Approaches for Large-scale Video Classification

Yunlong Bian, Chuang Gan+8 more|arXiv (Cornell University)|Aug 12, 2017

Human Pose and Action Recognition参考文献 18被引用数 53

ひとこと要約

この論文は、マルチモーダル特徴量を用いた大規模動画分類のための市販の時系列モデリング手法を評価し、特にアンサンブル時にKineticsで最先端の結果を達成する4つのモデルを提案します。

ABSTRACT

This paper describes our solution for the video recognition task of ActivityNet Kinetics challenge that ranked the 1st place. Most of existing state-of-the-art video recognition approaches are in favor of an end-to-end pipeline. One exception is the framework of DevNet. The merit of DevNet is that they first use the video data to learn a network (i.e. fine-tuning or training from scratch). Instead of directly using the end-to-end classification scores (e.g. softmax scores), they extract the features from the learned network and then fed them into the off-the-shelf machine learning models to conduct video classification. However, the effectiveness of this line work has long-term been ignored and underestimated. In this submission, we extensively use this strategy. Particularly, we investigate four temporal modeling approaches using the learned features: Multi-group Shifting Attention Network, Temporal Xception Network, Multi-stream sequence Model and Fast-Forward Sequence Model. Experiment results on the challenging Kinetics dataset demonstrate that our proposed temporal modeling approaches can significantly improve existing approaches in the large-scale video recognition tasks. Most remarkably, our best single Multi-group Shifting Attention Network can achieve 77.7% in term of top-1 accuracy and 93.2% in term of top-5 accuracy on the validation set.

研究の動機と目的

• 学習済み特徴量を用い、それに続く市販の時系列モデリングモデルを組み合わせることで、大規模な動画理解を向上させる動機付け。
• RGB、Flow、およびAudio特徴量を用いてKinetics上で複数の時系列モデリング手法を評価する。
• 4つの新規の時系列モデリング手法を提案し、それらの補完的利点を評価する。

提案手法

• RGB/Flow用Inception-ResNet-v2とTemporal Segment Networkフレームワーク内のVGG16ベースの音声モデルを用いてマルチモーダル特徴を抽出する。
• 市販の時系列モデリング手法を4つ提案：Multi-group Shifting Attention Network、Temporal Xception Network、Multi-stream Sequence Model、Fast-Forward Sequence Model。
• 時系列モデリングには深度wise separable畳み込みと注意機構を用いたシフティング操作を採用する。
• モダリティ別の注意/グループ出力を統合し分類器へ入力する。伝統的な時系列プーリングやLSTMベースラインと比較する。
• Kineticsを対象に固定長/セグメントベースのテストプロトコルを用いてTop-1/Top-5精度を報告する。
• 個別モデルを組み合わせたアンサンルの利得を示す。

実験結果

リサーチクエスチョン

• RQ1 大規模なアクション認識のために learned マルチモーダル動画特徴量に市販の時系列モデリングを適用した場合、どれくらい効果的か。
• RQ2 提案された時系列モデルはKineticsで伝統的なシーケンスモデル（LSTMなど）と同等またはそれを上回ることができるか。
• RQ3 異なる時系列モデリング手法は相互補完的であり、より良いアンサンブル性能を生み出すか。
• RQ4 マルチモーダル特徴量（RGB、Flow、Audio）と単純なスコアフュージョンのどちらが性能向上に寄与するか。

主な発見

Model	Modality	Top-1 Accuracy (%)	Top-5 Accuracy (%)
Inception-ResNet-v2	RGB	73.0	90.9
Inception-ResNet-v2	Flow	54.5	75.9
VGG16	Audio	21.6	39.4
Late fusion	RGB + Flow + Audio	74.9	91.6
Multi-stream Sequence Model	RGB + Flow + Audio	77.0	93.2
Fast-forward LSTM	RGB + Flow + Audio	77.1	93.2
Temporal Xception Network	RGB + Flow + Audio	77.2	93.4
Shifting Attention Network	RGB + Flow + Audio	77.7	93.2
Ensemble	RGB + Flow + Audio	81.5	95.6

• マルチモーダル特徴量を用いた時系列モデリングは、モダリティ別分類器の単純なスコアフュージョンよりも高い性能を示す。
• 提案手法のShifting Attention NetworkとTemporal Xception Networkは、LSTMなどの従来のシーケンスモデルと同等かそれ以上の結果を達成する。
• 4つの時系列モデルは補完的であり、それらのアンサンブルが最良の性能をもたらす。
• Kineticsの検証では、単独最良モデル（Shifting Attention Network）はTop-1 77.7%、Top-5 93.2%、アンサンブルはTop-1 81.5%、Top-5 95.6%を達成。