[論文レビュー] Video Classification with FineCoarse Networks.

Guoxi Huang, Adrian G. Borş|arXiv (Cornell University)|Mar 29, 2021

Human Pose and Action Recognition参考文献 56被引用数 6

ひとこと要約

本論文では、細分化された動きの詳細を粗い動画コンテンツから分離するためのモーションバンドパスモジュール（MBPM）を用いたFineCoarseネットワークを提案する。これにより、低解像度特徴パスウェイを介した効率的な処理が可能になる。この手法は、Something-Something V1で57.0%のトップ1正答率を達成し、Kinetics400、UCF101、HMDB51でも最近のモデルを上回る性能を発揮した。

ABSTRACT

A rich representation of the information in video data can be realized by means of frequency analysis. Fine motion details from the boundaries of moving regions are characterized by high frequencies in the spatio-temporal domain. Meanwhile, lower frequencies are encoded with coarse information containing substantial redundancy, which causes low efficiency for those video models that take as input raw RGB frames. In this work, we propose a Motion Band-pass Module (MBPM) for separating the fine-grained information from coarse information in raw video data. By representing the coarse information with low resolution, we can increase the efficiency of video data processing. By embedding the MBPM into a two-pathway CNN architecture, we define a FineCoarse network. The efficiency of the FineCoarse network is determined by avoiding the redundancy in the feature space processed by the two pathways: one operates on downsampled features of low-resolution data, while the other operates on the fine-grained motion information captured by the MBPM. The proposed FineCoarse network outperforms many recent video processing models on Kinetics400, UCF101 and HMDB51. Furthermore, our approach achieves the state-of-the-art with 57.0% top-1 accuracy on Something-Something V1.

研究の動機と目的

• 生のRGBフレームに含まれる冗長な粗い情報を処理するための動画モデルの非効率性を是正すること。
• 周波数ドメイン解析を用いて細分化された動きの詳細を分離することで、動画分類の精度を向上させること。
• 粗い特徴を低解像度化することで、処理の効率を向上させつつ、動きに敏感な高周波成分を保持すること。
• 細粒度の表現と粗い表現を併用して処理する2パスウェイCNNアーキテクチャを設計し、性能を向上させること。
• Something-Something V1を含む、複数のベンチマーク動画データセットで最先端の結果を達成すること。

提案手法

• モーションバンドパスモジュール（MBPM）は、生の動画フレームから細分化された動きの詳細を表す高周波成分を抽出する。
• 粗い情報は、計算の冗長性を低減するため、低解像度にダウンサンプリングされた特徴によって表現される。
• 2パスウェイCNNアーキテクチャが、細分化された動き特徴と粗い特徴を並列処理する。
• 細いパスウェイはMBPMによって抽出された高周波成分を処理するのに対し、粗いパスウェイはダウンサンプリングされた低解像度入力を使用する。
• パスウェイ処理後に特徴のファージョンが行われ、最終分類のための補完的情報を統合する。
• 標準的な最適化プロトコルを用いて、標準的な動画ベンチマークでエンドツーエンドに訓練される。

実験結果

リサーチクエスチョン

• RQ1 粗い動画コンテンツから細分化された動きの詳細を分離することで、動画分類の効率性と精度が向上するか？
• RQ2 粗い特徴の低解像度表現が、動画特徴空間における冗長性をどの程度低減するか？
• RQ3 標準的な畳み込み演算と比較して、MBPMが動きにどの程度感度を高めるか？
• RQ4 細粒度と粗い特徴を別々に処理する2パスウェイ設計が、標準ベンチマークでの性能向上に寄与するか？
• RQ5 このアプローチは、Something-Something V1のような挑戦的な動画データセットで最先端の性能を達成できるか？

主な発見

• FineCoarseネットワークは、Something-Something V1で57.0%のトップ1正答率を達成し、新たな最先端性能を樹立した。
• モデルは、Kinetics400、UCF101、HMDB51の複数の最近の動画分類アーキテクチャを上回った。
• MBPMは高周波成分の動きの詳細を効果的に分離し、微細な動きパターンへの感度を向上させた。
• 粗い特徴のダウンサンプリングは、精度を損なうことなく計算の冗長性を顕著に低減した。
• 2パスウェイ設計により、細い特徴と粗い特徴の学習を分離することで、効率的な処理が可能になった。
• 本手法は、多様な動画行動認識ベンチマークにおいて優れた一般化性能を示した。