[論文レビュー] Learning Self-Similarity in Space and Time as Generalized Motion for Action Recognition

Heeseung Kwon, Manjin Kim+2 more|arXiv (Cornell University)|Feb 14, 2021

Human Pose and Action Recognition参考文献 64被引用数 4

ひとこと要約

本論文では、局所的領域をその空間的・時間的近傍領域との関係的類似度として表現することにより、動画内の動きをモデル化するためのスパatio-temporal self-similarity (STSS) を学習するニューラルブロック SELFY を提案する。自己教師ありで、STSS ボリューム全体をエンドツーエンドで活用することで、長距離相互作用や高速な動きを効果的に捉えることができ、Something-Something-V1/V2、Diving-48、FineGym で最先端の行動認識性能を達成した。

ABSTRACT

Spatio-temporal convolution often fails to learn motion dynamics in videos and thus an effective motion representation is required for video understanding in the wild. In this paper, we propose a rich and robust motion representation based on spatio-temporal self-similarity (STSS). Given a sequence of frames, STSS represents each local region as similarities to its neighbors in space and time. By converting appearance features into relational values, it enables the learner to better recognize structural patterns in space and time. We leverage the whole volume of STSS and let our model learn to extract an effective motion representation from it. The proposed neural block, dubbed SELFY, can be easily inserted into neural architectures and trained end-to-end without additional supervision. With a sufficient volume of the neighborhood in space and time, it effectively captures long-term interaction and fast motion in the video, leading to robust action recognition. Our experimental analysis demonstrates its superiority over previous methods for motion modeling as well as its complementarity to spatio-temporal features from direct convolution. On the standard action recognition benchmarks, Something-Something-V1 & V2, Diving-48, and FineGym, the proposed method achieves the state-of-the-art results.

研究の動機と目的

• 動画内の動きのダイナミクスをモデル化する際の、空間的・時間的畳み込みの限界を解決すること。
• 直接的な外観特徴を超えた、空間的・時間的構造的パターンを捉える動き表現を開発すること。
• 自己類似性を用いて、追加の教師信号なしにエンドツーエンドで動き表現を学習可能にすること。
• 関係的特徴学習を通じて長期間の相互作用や高速な動きをモデル化することで、行動認識の頑健性を向上させること。

提案手法

• 局所的領域とその空間的・時間的近傍領域との類似度を計算することで、空間的・時間的自己類似性 (STSS) 表現を構築する。
• 外観特徴が類似度計算を通じて関係的値に変換され、モデルが動画ボリューム内の構造的パターンを学習できるようにする。
• 全STSSボリュームを処理し、効果的な動き表現を抽出するためのニューラルブロックであるSELFYを設計する。
• SELFYは微分可能であり、追加の教師信号なしに、既存のニューラルアーキテクチャに組み込み、エンドツーエンド学習が可能である。
• 長距離依存性や高速な動きダイナミクスをモデル化するため、十分に大きな空間的・時間的近傍を活用する。
• STSS表現はメインネットワークと同時に学習されるため、動き関連のパターンに注目できる。

実験結果

リサーチクエスチョン

• RQ1 空間的・時間的自己類似性は、動画行動認識のための一般的で頑健な動き表現として機能するか？
• RQ2 自己教師ありのSTSSベースの表現は、動画内の長期間の相互作用や高速な動きをどの程度効果的に捉えることができるか？
• RQ3 STSSは、従来の空間的・時間的畳み込み特徴とどの程度相乗効果を示すか？
• RQ4 STSSに基づくニューラルブロックは、既存のアーキテクチャに統合可能で、追加の教師信号なしにエンドツーエンド学習が可能か？

主な発見

• 提案手法は、Something-Something-V1 および V2 ベンチマークで最先端の性能を達成し、優れた動きモデリング能力を示した。
• Diving-48 データセットでも、新たな最先端の結果を達成し、複雑な行動認識においてその有効性を裏付けた。
• FineGym ベンチマークでも最先端の性能を達成し、多様な行動カテゴリにわたる頑健性を確認した。
• STSS表現は、長期間の相互作用と高速な動きの両方を効果的に捉えており、ベースライン手法よりも認識精度を向上させた。
• 空間的・時間的畳み込み特徴と強い相乗効果を示し、独自で価値ある動きパターンを学習していることが示唆された。