[論文レビュー] Fusing Multi-Stream Deep Networks for Video Classification

Zuxuan Wu, Yu–Gang Jiang+4 more|arXiv (Cornell University)|Sep 21, 2015

Anomaly Detection Techniques and Applications参考文献 37被引用数 28

ひとこと要約

本論文は、空間的特徴、運動的特徴、音声特徴、および長期的時系列特徴を、クラス関係正則化を施した適応的融合手法により統合するマルチストリーム深層学習フレームワークを提案する。この手法により、UCF-101で92.6%のトップ-1正答率、Columbia Consumer Videos（CCV）で84.9%の正答率を達成し、最先端の性能を実現した。これは、補完的なマルチモodal特徴と、クラスごとに最適化された融合重みを活用した結果である。

ABSTRACT

This paper studies deep network architectures to address the problem of video classification. A multi-stream framework is proposed to fully utilize the rich multimodal information in videos. Specifically, we first train three Convolutional Neural Networks to model spatial, short-term motion and audio clues respectively. Long Short Term Memory networks are then adopted to explore long-term temporal dynamics. With the outputs of the individual streams, we propose a simple and effective fusion method to generate the final predictions, where the optimal fusion weights are learned adaptively for each class, and the learning process is regularized by automatically estimated class relationships. Our contributions are two-fold. First, the proposed multi-stream framework is able to exploit multimodal features that are more comprehensive than those previously attempted. Second, we demonstrate that the adaptive fusion method using the class relationship as a regularizer outperforms traditional alternatives that estimate the weights in a "free" fashion. Our framework produces significantly better results than the state of the arts on two popular benchmarks, 92.2\% on UCF-101 (without using audio) and 84.9\% on Columbia Consumer Videos.

研究の動機と目的

• 空間的特徴、運動的特徴、音声特徴、および長期的時系列ダイナミクスといったマルチモーダル動画情報の完全な活用に失敗する既存の動画分類手法の限界を解消すること。
• すべてのストリームに等しく重みを割り当て、クラス固有の関連性や意味的関係を考慮しないままに統合する単純な統合戦略による性能の最適化が不十分である問題を克服すること。
• 各クラスに対して最適な重みを適応的に学習する統合メカニズムを開発し、予測の頑健性と正確性を向上させること。
• 統合プロセス中にクラス関係を正則化項として組み込むことで、標準的な統合アプローチを上回る性能向上が顕著に得られることを示すこと。

提案手法

• 視覚フレーム（空間的）、スタックドオプティカルフロー（短期的運動）、音声スペクトログラム（音声）から特徴を抽出するために、3つの独立した畳み込みニューラルネットワーク（ConvNets）を訓練する。
• 空間ストリームおよび運動ストリームのフレームレベル特徴に対して、長短期記憶（LSTM）ネットワークを適用し、長期的時系列依存性をモデル化する。
• 自動的に推定されたクラス関係を正則化項として用いた損失関数を最適化することで、クラス固有の統合重みを学習する、新しい適応的統合手法を提案する。この手法により一般化性能が向上する。
• スパarsityと意味的クラス相関の事前知識の両方を用いて統合プロセスを正則化し、関係のないクラス間での不適切な知識共有を防ぐ。
• ネットワーク重みと統合パrameterを同時に最適化するエンドツーエンド学習を採用することで、マルチモーダル信号の有効統合を実現する。
• 追加のラベルを必要とせず、データから自動的に推定されるクラス関係を用いることで、統合重み学習中に自己教師付き正則化を実現する。

実験結果

リサーチクエスチョン

• RQ1 空間的、運動的、音声的、および長期的時系列特徴を統合するマルチストリーム深層ネットワークアーキテクチャは、単一ストリームまたは限定ストリームアプローチと比較して、顕著に動画分類の正確性を向上させることができるか？
• RQ2 クラス固有の重みとクラス関係正則化を施した適応的統合は、固定または制約なしの統合戦略を上回る性能を示すか？
• RQ3 提案手法の統合法は、特に複雑な動作認識タスクにおいて、動画クラス間の意味的関係をどれほど効果的に捉えられるか？
• RQ4 空間的および運動ストリームに加えて、音声および長期的時系列特徴を統合することで、統合的な深層学習フレームワークにおいてどれほど性能向上が得られるか？
• RQ5 提案手法は、手作業で設計された特徴に依存せずに、UCF-101 や Columbia Consumer Videos といった標準ベンチマークで最先端の結果を達成できるか？

主な発見

• 提案されたマルチストリームフレームワークは、UCF-101で92.6%のトップ-1正答率を達成し、手作業で設計された特徴に依存する既存の最先端手法を顕著に上回った。
• Columbia Consumer Videos（CCV）データセットでは84.9%の正答率を達成し、新たな最先端結果を樹立した。これは、非トリムドのWeb動画においても強い一般化性能を示している。
• クラス関係正則化を施した適応的統合手法は、正則化なしの統合手法と比較して最大1.7%の性能向上を示し、意味的認識に基づいた重み学習の有効性を裏付けた。
• アブレーションスタディの結果、音声ストリームを除去するとCCVで0.9%、UCF-101で1.4%の性能低下が生じた。これは音声特徴が認識正確性に寄与していることを証明している。
• CCVにおけるクラスごとの性能分析では、すべてのクラスで一貫して顕著な向上が確認された。これは統合メカニズムの頑健性と信頼性を示している。
• LSTMや2ストリームネットワークを用いた先行研究と比較して、追加のモodalとより洗練された統合戦略を組み込むことで、本フレームワークは優れた性能を発揮した。