[論文レビュー] STH: Spatio-Temporal Hybrid Convolution for Efficient Action Recognition

Xu Li, Jingwen Wang+5 more|arXiv (Cornell University)|Mar 18, 2020

Human Pose and Action Recognition参考文献 38被引用数 4

ひとこと要約

本稿では、入力チャネルをグループ化することで、1つの2次元畳み込み層内で空間的および時間的カーネルをインターリーブする新しいスパatio-時系列ハイブリッド畳み込みブロック、STH-Convを提案する。これにより、最小限のパラメータコストでスパatio-時系列特徴を深く統合できる。本手法は、Something-Something V1/V2、Jester、HMDB-51で最先端または競争力ある精度を達成し、2次元CNNと同等のモデル効率を維持しながら、3次元CNNを上回る精度およびパラメータ効率を実現する。

ABSTRACT

Effective and Efficient spatio-temporal modeling is essential for action recognition. Existing methods suffer from the trade-off between model performance and model complexity. In this paper, we present a novel Spatio-Temporal Hybrid Convolution Network (denoted as "STH") which simultaneously encodes spatial and temporal video information with a small parameter cost. Different from existing works that sequentially or parallelly extract spatial and temporal information with different convolutional layers, we divide the input channels into multiple groups and interleave the spatial and temporal operations in one convolutional layer, which deeply incorporates spatial and temporal clues. Such a design enables efficient spatio-temporal modeling and maintains a small model scale. STH-Conv is a general building block, which can be plugged into existing 2D CNN architectures such as ResNet and MobileNet by replacing the conventional 2D-Conv blocks (2D convolutions). STH network achieves competitive or even better performance than its competitors on benchmark datasets such as Something-Something (V1 & V2), Jester, and HMDB-51. Moreover, STH enjoys performance superiority over 3D CNNs while maintaining an even smaller parameter cost than 2D CNNs.

研究の動機と目的

• 既存のスパatio-時系列アクション認識モデルにおける性能と複雑性のトレードオフを解消すること。
• 空間的および時間的特徴のより深い統合を、1つの畳み込み層内で実現し、空間的および時間的処理を逐次的または並列的に処理するのを避けること。
• ResNet や MobileNet などの既存の2次元CNNアーキテクチャにスムーズに統合可能な汎用的なビルディングブロックを設計すること。
• モバイルおよび組み込みデプロイメントに適した、低パラメータ数および計算コストを維持しながら、アクション認識ベンチマークで高い精度を達成すること。

提案手法

• STH-Convは、入力チャネルをグループに分け、1つの2次元畳み込み層内でチャネル次元に沿って基本的な空間的および時間的畳み込みカーネルをインターリーブする。
• 本手法は、空間的および時間的カーネルを構造的にインターリーブさせることで、スパatio-時系列ハイブリッドカーネルを構築し、外観と動きの共同モデリングを可能にする。
• STHブロックは、2次元CNNの標準的な2次元畳み込みブロックの即時交換可能として設計されており、効率的なスパatio-時系列ネットワークに変換する。
• 各特徴マップごとに学習された注意係数を用いて、動的かつ適応的に空間的および時間的コンポーネントのバランスを調整する注意メカニズムが用いられる。
• 光学フローまたは追加の監視情報が不要であり、標準的なクロスエントロピー損失を用いてエンドツーエンドで学習される。
• 本アーキテクチャは、ResNet や MobileNet などの既存の2次元CNNに即座に統合可能であり、アーキテクチャの大幅な見直しを伴わずに、効率的な動画アクション認識を実現する。

実験結果

リサーチクエスチョン

• RQ1 モデルの複雑性を増加させることなく、1つの畳み込み層が動画の空間的および時間的特徴を効果的かつ効率的にモデル化できるか。
• RQ2 1つの2次元畳み込み層内で空間的および時間的カーネルをインターリーブさせることは、逐次的または並列的処理と比較して、性能および効率においてどのように異なるか。
• RQ3 STHブロックは、2次元CNNと同等のモデルサイズおよびFLOPsを維持しながら、どれほどアクション認識の精度を向上させられるか。
• RQ4 異なるデータセット、ネットワークの深さ、入力モodal に対して、空間的および時間的コンポーネントの学習された注意重みはどのように変化するか。

主な発見

• Something-Something V1では、30.6 GFLOPsおよび23.2Mパラメータでトップ1精度46.8%を達成し、I3D や ECO を上回りながらも、より少ないパラメータを用いる。
• Something-Something V2では、61.3 GFLOPsおよび23.2Mパラメータでトップ1精度78.5%を達成し、TSM や ABM モデルを上回る精度を実現しながら、より低い複雑性を維持する。
• 深層部では、特にSomething-Something V1のような時間的特徴が豊富なデータセットでは、STHネットワークが時間的コンポーネントに高い注意を割くよう学習する。
• 光学フロー入力では、ネットワークが時間的コンポーネントに顕著に高い注意を割くことが確認され、動きの手がかりに敏感であることが裏付けられる。
• パラメータ数およびFLOPsを少なく抑えながら、3次元CNN（例：I3D）を上回る性能を達成しており、優れた効率-精度トレードオフを示している。
• STHのプラグイン性のおかげで、ResNet や MobileNet などの既存の2次元CNNにスムーズに統合可能であり、アーキテクチャの大幅な見直しを伴わずに、効率的な動画アクション認識が可能になる。