[論文レビュー] TEAM-Net: Multi-modal Learning for Video Action Recognition with Partial Decoding

Zhengwei Wang, Qi She+1 more|arXiv (Cornell University)|Oct 17, 2021

Human Pose and Action Recognition参考文献 27被引用数 4

ひとこと要約

TEAM-Netは、Group of Pictures (GOPs) からのIフレーム、運動ベクトル (MVs)、および残差を活用して、部分的にデコードされた動画を用いた動画行動認識のためのプラグアンドプレイなマルチモーダル学習モジュール（TEAM）を提案する。順次的チャネルおよび空間的統合を通じて、これらのモダリティをエンドツーエンドで統合することで、UCF-101およびHMDB-51で最先端の性能を達成し、RGBオンリーベースラインおよび先行の圧縮ドメイン手法を上回る性能を発揮する。

ABSTRACT

Most of existing video action recognition models ingest raw RGB frames. However, the raw video stream requires enormous storage and contains significant temporal redundancy. Video compression (e.g., H.264, MPEG-4) reduces superfluous information by representing the raw video stream using the concept of Group of Pictures (GOP). Each GOP is composed of the first I-frame (aka RGB image) followed by a number of P-frames, represented by motion vectors and residuals, which can be regarded and used as pre-extracted features. In this work, we 1) introduce sampling the input for the network from partially decoded videos based on the GOP-level, and 2) propose a plug-and-play mulTi-modal lEArning Module (TEAM) for training the network using information from I-frames and P-frames in an end-to-end manner. We demonstrate the superior performance of TEAM-Net compared to the baseline using RGB only. TEAM-Net also achieves the state-of-the-art performance in the area of video action recognition with partial decoding. Code is provided at https://github.com/villawang/TEAM-Net.

研究の動機と目的

• 圧縮ドメインからの部分的デコード動画ストリームを活用することで、生動画データの高コストな保存と冗長性を低減すること。
• 外見（Iフレーム）、運動（MVs）、および残差テクスチャという3つのモダリティを統合的に統合するフレームワーク内で、動画行動認識の性能を向上させること。
• 別々のバックボーンを学習し、推論時でのみ統合する従来手法の制限を克服し、中レベル統合を可能にするエンドツーエンド学習を実現すること。
• 部分的に圧縮されたドメインで効率的かつ効果的なマルチモーダル学習を可能にする、プラグアンドプレイなモジュール（TEAM）を提案すること。

提案手法

• GOPレベルでの入力抽出を行い、各GOPに対して最初のIフレームと1つのPフレーム（MVsおよび残差を含む）をRGB完全デコードの代わりに使用すること。
• 順次的統合を実行するマルチモーダル学習モジュール（TEAM）を導入：まずチャネルワイド統合により全般的なモダリティの重要度を捉え、次に空間的統合により関連領域を局所化すること。
• TEAMの5つの構成を設計し、最も優れた性能を示したのはチャネル統合 followed by 空間統合（TEAM_{c→s}）のアーキテクチャである。
• TSNバックボーンの複数の段階（Conv1、Res2、Res3、Res4の後）にTEAMモジュールを埋め込むことで、中レベル統合を実現し、遅延統合による性能劣化を回避すること。
• 各モダリティを独立して処理した後で統合する二重ブランチ特徴集約戦略を採用し、モダリティ固有の表現を保持すること。
• 交差エントロピー損失を用いて、個々のモダリティの別個学習なしに、ネットワーク全体をエンドツーエンドで学習すること。

実験結果

リサーチクエスチョン

• RQ1 部分的にデコードされた動画からのIフレーム、運動ベクトル、および残差を用いたマルチモーダル学習は、RGBオンリーベースラインに比べて動画行動認識性能を向上させることができるか？
• RQ2 部分的に圧縮されたドメインにおいて、中レベル統合によるエンドツーエンド学習が、遅延統合や別個バックボーン学習に比べて優れているか？
• RQ3 動画行動認識におけるマルチモーダル特徴統合において、チャネル統合と空間統合の最適な統合順序は何か？
• RQ4 ネットワーク内での埋め込み位置（段階）の選択が、TEAMモジュールの性能に与える影響は何か？
• RQ5 アーキテクチャの再設計なしに、プラグアンドプレイなモジュールが複数のモダリティを効果的に統合できるか？

主な発見

• TEAM-Netは8フレーム入力でUCF-101で94.3%の平均正答率、HMDB-51で73.8%を達成し、RGBオンリーティーンスケール（TSN）ベースラインを上回る。
• 順次的統合戦略（TEAM_{c→s}）が最良の性能を示し、UCF-101では並列構成よりも0.6%の絶対的向上を達成した。
• 中レベルの段階（Conv1、Res2、Res3、Res4の後）での統合が、遅延段階での統合よりも優れた性能を示した。これは、空間解像度が低いために性能劣化が生じるためである。
• クラス固有の注目可視化により、TEAMモジュールが「何が」（チャネル統合により）と「どこに」（空間統合により）を的確に捉えていることが確認された。
• 部分的に圧縮されたドメインにおいて、最先端の性能を達成しており、別個バックボーンや遅延統合を用いた先行研究を上回った。
• アブレーションスタディにより、チャネル統合と空間統合の両方が必要であることが確認された。単一モダリティ統合（チャネルオンリーや空間オンリー）では、フルTEAMモジュールに比べて性能が劣った。