[論文レビュー] CUHK & ETHZ & SIAT Submission to ActivityNet Challenge 2016.

Yuanjun Xiong, Limin Wang+8 more|arXiv (Cornell University)|Aug 2, 2016

Human Pose and Action Recognition参考文献 17被引用数 132

ひとこと要約

本論文では、最先端のCNNアーキテクチャ（ResNet、Inception V3）と新規の集約手法（top-kおよびアテンション重み付きプーリング）を用いて、視覚的および音声的モダリティ特徴を統合する深層学習手法を提示している。スペクトログ램に基づく音声用CNNと、外部アノテーションを用いないActivityNet 2016データで訓練されたアンサンブルモデルを活用することで、テストセットで93.23%のmAPを達成し、コンテストで1位を獲得した。

ABSTRACT

This paper presents the method that underlies our submission to the untrimmed video classification task of ActivityNet Challenge 2016. We follow the basic pipeline of temporal segment networks and further raise the performance via a number of other techniques. Specifically, we use the latest deep model architecture, e.g., ResNet and Inception V3, and introduce new aggregation schemes (top-k and attention-weighted pooling). Additionally, we incorporate the audio as a complementary channel, extracting relevant information via a CNN applied to the spectrograms. With these techniques, we derive an ensemble of deep models, which, together, attains a high classification accuracy (mAP $93.23\%$) on the testing set and secured the first place in the challenge.

研究の動機と目的

• トリムドクリップよりも現実の動画データに近い非トリムド動画に対して、頑健な行動認識システムを開発すること。
• 外部データセットやアノテーションに依存せずに、補完的な視覚的および音声的特徴を統合することで、分類精度を向上させること。
• 非トリムド動画における長距離時系列モデリングを向上させるために、スニペットレベルの予測を効果的に集約する戦略を設計すること。

提案手法

• 本手法は、非トリムド動画から1秒ごとのスニペットをサンプリングし、フレームレベル分類を実行する時間的セグメントネットワーク（TSN）フレームワークを採用している。
• 外見と動きの両方のストリームをモデル化するために、ImageNetで事前学習済みの重みを初期値として用いた深層CNN（ResNetおよびInception V3）を用いている。
• スニペットレベルの予測を動画レベルのスコアに統合するために、top-kプールィングおよびアテンション重み付きプールィングを含む新規の集約戦略を適用している。
• 音声特徴は、専用の音声用CNNを用いてスペクトログラムから抽出されており、マルチスケール入力を通じて時系列的ロバスト性を向上させている。
• 音声モデリングのベースラインとして、MFCC特徴とFisherベクトル符号化も用いている。
• 視覚的および音声的モデルのアンサンブルを統合することで性能を向上させ、最終的な予測は、訓練データと検証データを組み合わせて訓練されたモデルを用いてテストセットで実行している。

実験結果

リサーチクエスチョン

• RQ1 視覚的および音声的モダリティ特徴の組み合わせは、非トリムド動画における行動認識性能を向上させることができるか？
• RQ2 ResNet や Inception V3 といった高度な深層ネットワークアーキテクチャは、従来のモデルと比較して、非トリムド動画分類においてどのように性能を向上させるか？
• RQ3 top-kおよびアテンション重み付きプールィングといった新規の集約手法は、どの程度動画レベルの予測精度を向上させるか？
• RQ4 CNNを用いて処理されたスペクトログラムからの音声特徴は、視覚的特徴と補完的で意味のある情報を提供できるか？
• RQ5 1秒間に1フレームのみを用いる場合、リアルタイム推論を模擬する条件下でも、システムは高い性能を維持できるか？

主な発見

• 最終的なアンサンブルモデルは、ActivityNet 2016のテストセットで93.23%のmAPを達成し、コンテストで1位を獲得した。
• 1フレーム/秒のみを用いた単一の視覚用CNNモデルでも、91.2%のmAPを達成し、高い効率性と実用性を示した。
• 視覚的および音声的モデルの組み合わせにより、検証セットでのmAPが視覚的モデルのみの90.4%から90.9%に向上した。
• top-kおよびアテンション重み付きプールィング戦略により、アンサンブル設定下での外見モデルのmAPがベースラインの82.9%から85.9%に向上した。
• マルチスケールスペクトログラムを用いた音声用CNNは、単独で使用した場合にMFCC+SVM（14.2%）を上回る10.3%のmAPを達成した。
• ImageNetの事前学習を除き、外部データやアノテーションを一切使用せずに、最先端の性能を達成した。