[論文レビュー] V4D:4D Convolutional Neural Networks for Video-level Representation Learning

Shiwen Zhang, Sheng Guo+3 more|arXiv (Cornell University)|Feb 18, 2020

Human Pose and Action Recognition参考文献 31被引用数 48

ひとこと要約

V4Dは、4D畳み込みと残差ブロックを用いたVideo-level 4D CNNを導入し、動画の長距離時空的進化をモデル化して、クリップベースの3D CNNを上回る。

ABSTRACT

Most existing 3D CNNs for video representation learning are clip-based methods, and thus do not consider video-level temporal evolution of spatio-temporal features. In this paper, we propose Video-level 4D Convolutional Neural Networks, referred as V4D, to model the evolution of long-range spatio-temporal representation with 4D convolutions, and at the same time, to preserve strong 3D spatio-temporal representation with residual connections. Specifically, we design a new 4D residual block able to capture inter-clip interactions, which could enhance the representation power of the original clip-level 3D CNNs. The 4D residual blocks can be easily integrated into the existing 3D CNNs to perform long-range modeling hierarchically. We further introduce the training and inference methods for the proposed V4D. Extensive experiments are conducted on three video recognition benchmarks, where V4D achieves excellent results, surpassing recent 3D CNNs by a large margin.

研究の動機と目的

• クリップベースの3D CNNを超えた動画レベル表現学習を動機づけ、長距離の時間的進化を捉える。
• 包括的な動画表現の中でクリップ間の相互作用をモデル化するために、4D畳み込みと残差4Dブロックを提案する。
• 既存の3D CNNバックボーンに4Dブロックを組み込み、階層的な長距離モデリングを実現する。
• V4Dに特化したトレーニングおよび動画レベル推論戦略を開発する。
• 複数のベンチマーク（Mini-Kinetics、Kinetics-400、Something-Something-v1）全体で有効性を示す。

提案手法

• 動画をU個のアクションユニットに分割し、それぞれのセクションからサンプルする動画レベルのサンプリング戦略を導入する。
• 形状 (C, U, T, H, W) の V テンソル上で動作する4D畳み込みを定義し、クリップ間の相互作用を捉える。
• 残差接続を持つ3D CNNバックボーンに4D畳み込みを組み込んで、Residual 4D Convolution Blocksを作成する。
• 4Dブロックを標準の3D CNNに挿入できるよう、次元を揃えるための置換ベースのメカニズムを使用する。
• 複数のサンプリング表現にまたがる予測を集約する動画レベル推論手順を提供する。
• パフォーマンスとパラメータのバランスを取るため、異なる4Dカーネル形状（例：3x3x3x3、3x3x1x1）と配置（res3、res4、res5）を探索する。

実験結果

リサーチクエスチョン

• RQ1 4D畳み込みは、アクション認識のための動画における長距離の時空的進化を効果的にモデル化できるか。
• RQ2 3D CNNバックボーンに統合されたResidual 4D Blocksは、クリップベースの手法を超えて動画レベルの表現を改善するか。
• RQ3 アクションユニット数（U）とカーネル構成が性能と効率に与える影響は何か？
• RQ4 多様なベンチマーク（Mini-Kinetics、Kinetics-400、Something-Something-v1）におけるV4DのTSNおよびクリップベースの3D CNNと比較した性能はどうか？

主な発見

• Residual 4D Blocksを備えたV4Dは、同等のプロトコル下でクリップベースのI3D-SおよびTSNのベースラインより高い精度を達成する（例：Mini-KineticsでV4D ResNet18はI3D-S ResNet18およびTSN+I3D-S ResNet18を上回る）。
• カーネルの選択は性能に影響を与え、3x3x3x3が強力な結果を、より経済的な3x3x1x1は実用的には競争力を維持する。
• 4Dブロックをres3とres4に配置すると他の配置より改善効果が大きく、両方の場所でブロックを組み合わせると精度がさらに向上する。
• V4DはKinetics-400で競争力のあるまたは優れた結果を示す（77.4 top-1、93.1 top-5、V4D ResNet50）およびSomething-Something-v1では（50.4 top-1、V4D ResNet50）で、いくつかの最先端手法と比較して優れている。