[論文レビュー] DenseImage Network: Video Spatial-Temporal Evolution Encoding and Understanding

Xiaokai Chen, Ke Gao|arXiv (Cornell University)|May 19, 2018

Human Pose and Action Recognition参考文献 12被引用数 6

ひとこと要約

DenseImage Network (DIN) は、空間的時間的変化を行列に符号化するコン pactな動画表現である DenseImage を提案し、2次元畳み込みニューラルネットワーク（2D CNN）を用いた効率的な学習を可能にする。時間順序を保つ多スケールフィルタ幅を用いた2次元畳み込みを適用することで、光流体や3次元畳み込みニューラルネットワーク（3D CNN）に依存する手法に比べ、計算量とメモリコストを著しく削減しながら、最先端の行動認識およびジェスチャー認識を達成している。

ABSTRACT

Many of the leading approaches for video understanding are data-hungry and time-consuming, failing to capture the gist of spatial-temporal evolution in an efficient manner. The latest research shows that CNN network can reason about static relation of entities in images. To further exploit its capacity in dynamic evolution reasoning, we introduce a novel network module called DenseImage Network(DIN) with two main contributions. 1) A novel compact representation of video which distills its significant spatial-temporal evolution into a matrix called DenseImage, primed for efficient video encoding. 2) A simple yet powerful learning strategy based on DenseImage and a temporal-order-preserving CNN network is proposed for video understanding, which contains a local temporal correlation constraint capturing temporal evolution at multiple time scales with different filter widths. Extensive experiments on two recent challenging benchmarks demonstrate that our DenseImage Network can accurately capture the common spatial-temporal evolution between similar actions, even with enormous visual variations or different time scales. Moreover, we obtain the state-of-the-art results in action and gesture recognition with much less time-and-memory cost, indicating its immense potential in video representing and understanding.

研究の動機と目的

• 光流体や 3D CNN に依存する既存の動画理解手法の非効率さと高い計算コストを是正すること。
• 行動のコアな空間的時間的変化を捉える、コンパクトで効率的な動画表現を開発すること。
• 3次元畳み込みや流体計算を必要とせず、2D CNN が複数の時間スケールにわたる動的変化を効果的にモデル化できることを実現すること。
• メモリと推論時間を削減しながら、困難なベンチマークで認識精度を維持または向上させること。

提案手法

• 空間情報を列に、時間的変化を行の系列に符号化する行列表現である DenseImage を導入し、動画のダイナミクスをコンパクトな形に要約する。
• 特徴学習中に系列の整合性を保つために、時間順序を保持する 2次元畳み込みニューラルネットワークを設計し、局所的な時間的相関制約を導入する。
• 異なるフィルタ幅（例：2, 3, 4）を用いた多スケール 2次元畳み込みを適用し、複数の時間スケールで同時に時間的変化を捉える。
• 事前計算された光流体やワープ光流体を必要とせず、RGB フレームのみを入力とすることで、データおよび計算のオーバーヘッドを削減する。
• 高価な 3次元畳み込みや二重ストリームアーキテクチャを避けるために、標準の 2次元畳み込み層を活用して効率的な特徴抽出を実現する。
• DenseImage 行列とフィルタ構造の設計により時間順序を保持することで、標準的な交差エントロピー損失を用いたエンドツーエンド学習を実施する。

実験結果

リサーチクエスチョン

• RQ1 コンパクトな 2次元行列表現は、動画の本質的な空間的時間的ダイナミクスを効果的に符号化できるか？
• RQ2 多スケール時間的畳み込みを備えた 2D CNN は、3次元畳み込みを必要とせずに、異なる時間スケールでの動的変化を捉えることができるか？
• RQ3 特徴学習プロセスで時間順序を保持することで、視覚的変化がある類似した行動の認識性能が向上するか？
• RQ4 光流体ベースや 3D CNN アプローチを凌駆する精度を達成しながら、計算コストを削減できるか？

主な発見

• DenseImage Network は、Something-Something および Jester ベンチマークで最先端の性能を達成し、Two-Stream I3D や TSN などの手法を上回っている。
• 光流体の排除と 2D 異常畳み込みの活用により、Two-Stream I3D と比較してパラメータ数を 1.9 倍、計算複雑度を 6.5 倍削減している。
• t-SNE 視覚化により、異なるフィルタ幅（2, 4）からの特徴が、『手を振る』と『2本の指を引っ込める』といった類似した行動クラスを効果的に分離していることが確認された。
• フィルタ応答の可視化から、視覚的に複雑な行動においても、キーフレームや時間的パターンを正しく特定していることが示された。
• ベースライン比較で時間順序を逆転させても高い精度を維持していることから、時間的摂動に対して強いことが示された。
• 実験により、局所的な時間的相関制約が学習の安定性を高め、複数の時間スケールでの動的変化のモデリングを強化していることが明らかになった。