[論文レビュー] Modeling Multimodal Clues in a Hybrid Deep Learning Framework for Video Classification

Yu–Gang Jiang, Zuxuan Wu+4 more|arXiv (Cornell University)|Jun 14, 2017

Human Pose and Action Recognition参考文献 52被引用数 6

ひとこと要約

本論文は、3つの畳み込みニューラルネットワーク（CNN）と2つの長短期記憶（LSTM）を用いて、空間的特徴、動き、音声、および長距離時系列特徴を統合するハイブリッドディープラーニングフレームワークを提案する。その後に正則化された特徴統合ネットワークと文脈的リファインメントを適用し、UCF-101で93.1%、CCVで84.5%の正確度を達成した。これは、マルチモーダルおよび順序的な動画の手がかりを効果的にモデル化することで、最先端手法を明確に上回った結果である。

ABSTRACT

Videos are inherently multimodal. This paper studies the problem of how to fully exploit the abundant multimodal clues for improved video categorization. We introduce a hybrid deep learning framework that integrates useful clues from multiple modalities, including static spatial appearance information, motion patterns within a short time window, audio information as well as long-range temporal dynamics. More specifically, we utilize three Convolutional Neural Networks (CNNs) operating on appearance, motion and audio signals to extract their corresponding features. We then employ a feature fusion network to derive a unified representation with an aim to capture the relationships among features. Furthermore, to exploit the long-range temporal dynamics in videos, we apply two Long Short Term Memory networks with extracted appearance and motion features as inputs. Finally, we also propose to refine the prediction scores by leveraging contextual relationships among video semantics. The hybrid deep learning framework is able to exploit a comprehensive set of multimodal features for video classification. Through an extensive set of experiments, we demonstrate that (1) LSTM networks which model sequences in an explicitly recurrent manner are highly complementary with CNN models; (2) the feature fusion network which produces a fused representation through modeling feature relationships outperforms alternative fusion strategies; (3) the semantic context of video classes can help further refine the predictions for improved performance. Experimental results on two challenging benchmarks, the UCF-101 and the Columbia Consumer Videos (CCV), provide strong quantitative evidence that our framework achieves promising results: $93.1\%$ on the UCF-101 and $84.5\%$ on the CCV, outperforming competing methods with clear margins.

研究の動機と目的

• 既存の動画分類手法が、動き、音声、長距離時系列ダイナミクスなどのマルチモーダルな手がかりを十分に活用していないという制限を解消すること。
• 空間的特徴、動き、音声、および長距離時系列特徴を統合する統一されたディープラーニングフレームワークを通じて、動画分類の性能を向上させること。
• 畳み込みニューラルネットワーク（CNN）と長短期記憶（LSTM）を組み合わせることで、動画シーケンス内の局所的スパatiotemporalパターンと長距離依存関係を効果的にモデル化できるかを検討すること。
• 動画クラス間の意味的文脈的関係を活用することで、予測性能を向上させること。
• 学習された関係性と文脈的リファインメントを伴う特徴統合が、分類正確度を顕著に向上させることを実証すること。

提案手法

• RGBフレーム（空間的外観）、スタックドオプティカルフロー画像（動きパターン）、音声スペクトログラム（音声信号）から特徴を抽出するために、3つの独立した畳み込みニューラルネットワーク（CNN）を用いる。
• 抽出された空間的および動き特徴を処理するために、2つの長短期記憶（LSTM）ネットワークを用い、シーケンスに配慮した長距離時系列ダイナミクスをモデル化する。
• 正則化された特徴統合ネットワークにより、CNNとLSTMの出力を統合された表現に統合し、マルチモーダル特徴間の関係を明示的にモデル化する。
• 最終的な予測スコアは、LSTMモデルの出力と統合表現の出力を組み合わせた後、動画クラス間の意味的関係を用いた文脈的リファインメントを経て生成される。
• 過学習を防ぎ、一般化性能を向上させるために、統合およびリファインメント段階で重み共有とドロップアウト正則化を採用する。
• 全システムは、交差エントロピー損失を最適化対象として、確率的勾配降下法を用いてエンド・ツー・エンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 長距離時系列依存関係をモデル化するLSTMが、局所的スパティオトロピカル特徴を抽出するCNNと、動画分類においてどのように補完し合うか。
• RQ2 特徴間の関係性をモデル化する学習可能な正則化された特徴統合ネットワークは、単純な連結や平均化戦略を上回る性能を発揮するか。
• RQ3 動画クラス間の意味的文脈的関係は、予測正確度をどの程度向上させるか。
• RQ4 視覚のみのモデルと比較して、音声信号の統合は性能にどの程度寄与するか。
• RQ5 提案されたハイブリッドフレームワークは、標準的な動画分類ベンチマークで最先端の性能を達成するか。

主な発見

• 提案されたハイブリッドフレームワークは、UCF-101データセットで93.1%のトップ-1正確度を達成し、以前の最先端手法を顕著に上回った。
• コロンビア・コンsumer・ビデオス（CCV）データセットでは、84.5%の正確度を達成し、競合手法を明確な差で上回った。
• 長距離時系列ダイナミクスをモデル化するLSTMネットワークは、CNNと非常に相乗効果を発揮し、その統合により顕著な性能向上が達成された。
• マルチモーダル特徴間の関係性をモデル化する正則化された特徴統合ネットワークは、早期統合や後期統合などの単純な統合戦略を上回った。
• 動画クラス間の意味的関係を用いた文脈的リファインメントは、予測性能を向上させ、特に「鳥」や「ウェディングレセプション」などの低性能クラスで顕著な改善を示した。
• このフレームワークは高い効率性を示し、1台のNVIDIA Tesla K40 GPUでUCF-101の動画クリップ1つを約20.8秒で分類可能であり、特徴抽出と推論が主な処理時間要因であった。