[論文レビュー] Exploiting Spatial-Temporal Modelling and Multi-Modal Fusion for Human Action Recognition

Dongliang He, Fu Li+4 more|arXiv (Cornell University)|Jun 27, 2018

Human Pose and Action Recognition参考文献 23被引用数 21

ひとこと要約

本論文では、2次元および3次元畳み込みを組み合わせることで、動画内の局所的空間時間的パターンと長距離時間的ダイナミクスを同時に学習する空間時間モデリングフレームワークStNetを提案する。さらに、RGB、光流、音声モダリティを早期統合および後期統合戦略を用いて統合する改良型時間的XceptionネットワークiTXNを導入し、モデルアンサンブルによりKinetics-600検証セットで85.0%のトップ1正解率を達成した。

ABSTRACT

In this report, our approach to tackling the task of ActivityNet 2018 Kinetics-600 challenge is described in detail. Though spatial-temporal modelling methods, which adopt either such end-to-end framework as I3D \cite{i3d} or two-stage frameworks (i.e., CNN+RNN), have been proposed in existing state-of-the-arts for this task, video modelling is far from being well solved. In this challenge, we propose spatial-temporal network (StNet) for better joint spatial-temporal modelling and comprehensively video understanding. Besides, given that multi-modal information is contained in video source, we manage to integrate both early-fusion and later-fusion strategy of multi-modal information via our proposed improved temporal Xception network (iTXN) for video understanding. Our StNet RGB single model achieves 78.99\% top-1 precision in the Kinetics-600 validation set and that of our improved temporal Xception network which integrates RGB, flow and audio modalities is up to 82.35\%. After model ensemble, we achieve top-1 precision as high as 85.0\% on the validation set and rank No.1 among all submissions.

研究の動機と目的

• 統合的でエンドツーエンドのフレームワークにより、空間的および時間的特徴を同時にモデリングすることで、動画理解の向上を図ること。
• RNNなどの再帰的アーキテクチャの時間的モデリングにおける限界を克服するため、最適化性とパフォーマンスの向上を図るべく、3次元畳み込みに置き換えること。
• RGB、光流、音声といったマルチモーダルな動画信号を、早期統合および後期統合戦略を併用して効果的に統合することで、認識精度の向上を図ること。
• アーキテクチャの革新とモデルアンサンブルを活用し、ActivityNet 2018 Kinetics-600チャレンジで最先端のパフォーマンスを達成すること。

提案手法

• StNetは、N個の連続するRGBフレームをチャネル次元に沿って積み上げることでスーパーフレームを構築し、2次元畳み込みが局所的空間時間的パターンをモデリング可能にする。
• 長距離時間的依存関係は、時間カーネルサイズが3、空間カーネルサイズが1の3次元畳み込みを用いてT個のサンプリングされたスーパーフレームに適用することで捉える。
• 3次元畳み込みブロックは、階層的特徴学習を保持しつつ時間的モデリングを可能にするために、ResNetのRes3およびRes4ブロックの後に挿入される。
• iTXNは、時間的Xceptionブロックを通じてRGB、TV_L1光流、Farneback光流、音声特徴を個別に処理（後期統合用）および統合的に処理（早期統合用）することでマルチモーダル入力を統合する。
• 早期統合特徴（統合されたモダリティ）と個別に符号化されたモダリティ特徴を組み合わせることで、分類用の統一された表現を生成する。
• 勾配ブースティング決定木（GBDT）を用いたモデルアンサンブルにより、単一モダリティおよびマルチモーダルモデルの予測を統合し、パフォーマンスを最大化する。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッド2次元-3次元畳み込みアーキテクチャは、標準的な2ストリームモデルやRNNベースのモデルに比べ、エンドツーエンド動画行動認識で優れた性能を発揮できるか？
• RQ2 マルチモーダル動画入力に対して、早期統合と後期統合戦略を併用することで、単独で用いる場合よりも優れた性能が得られるか？
• RQ3 完全な3次元カーネルを用いない3次元畳み込みベースの時間的モデリングアプローチは、パrameter数を削減しても、3次元CNNに比べて十分なパフォーマンスを発揮できるか？
• RQ4 RGB特徴に音声と光流を統合することで、大規模な行動認識ベンチマークでの認識精度がどの程度向上するか？
• RQ5 多様な単一モダリティおよびマルチモーダルモデルを用いたモデルアンサンブルは、Kinetics-600におけるトップ1正解率をどの程度向上できるか？

主な発見

• StNet-IRv2は、Kinetics-600検証セットで78.99%のトップ1正解率を達成し、TSN-IRv2を2.83ポイント上回った。
• 提案されたStNetフレームワークは、完全な3次元畳み込みを避けてパrameter数を削減したにもかかわらず、nonlocal-Res50-I3Dと同等またはそれ以上の性能を示した。
• RGB、光流、音声モダリティの早期および後期統合を組み合わせたiTXNは、82.35%のトップ1正解率を達成し、マルチモーダル統合の有効性を示した。
• GBDTを用いた最終的なモデルアンサンブルは、トップ1正解率85.0%、トップ5正解率96.9%を達成し、ActivityNet 2018 Kinetics-600チャレンジで1位となった。
• 個別モダリティの性能には顕著な差があり、RGBは78.99%、Farneback光流は71.3%、TV_L1光流は65.1%、音声のみでは23%にとどまった。これはマルチモーダル統合の重要性を強調している。
• アブレーションスタディの結果、ResNetブロックの後に配置されたStNetの3次元畳み込みが、標準的な2次元または2ストリームベースラインに比べ、長距離時間的モデリングを顕著に向上させたことが確認された。