[論文レビュー] Spatio-temporal Relation Modeling for Few-shot Action Recognition

Anirudh Thatipelli, Sanath Narayan+4 more|arXiv (Cornell University)|Dec 9, 2021

Human Pose and Action Recognition被引用数 6

ひとこと要約

本稿では、局所的なパッチレベルとグローバルなフレームレベルの特徴強化を組み合わせた新規な空間時間的強化モジュールを備えた、少数ショット行動認識フレームワークであるSTRMを提案する。中間のクエリ-クラス類似度分類と、低基数における高次時間的関係の学習を統合することで、Kinetics、SSv2、HMDB51、UCF101の4つのベンチマークで最先端性能を達成し、SSv2では3.5%の絶対的精度上昇を達成した。

ABSTRACT

We propose a novel few-shot action recognition framework, STRM, which enhances class-specific feature discriminability while simultaneously learning higher-order temporal representations. The focus of our approach is a novel spatio-temporal enrichment module that aggregates spatial and temporal contexts with dedicated local patch-level and global frame-level feature enrichment sub-modules. Local patch-level enrichment captures the appearance-based characteristics of actions. On the other hand, global frame-level enrichment explicitly encodes the broad temporal context, thereby capturing the relevant object features over time. The resulting spatio-temporally enriched representations are then utilized to learn the relational matching between query and support action sub-sequences. We further introduce a query-class similarity classifier on the patch-level enriched features to enhance class-specific feature discriminability by reinforcing the feature learning at different stages in the proposed framework. Experiments are performed on four few-shot action recognition benchmarks: Kinetics, SSv2, HMDB51 and UCF101. Our extensive ablation study reveals the benefits of the proposed contributions. Furthermore, our approach sets a new state-of-the-art on all four benchmarks. On the challenging SSv2 benchmark, our approach achieves an absolute gain of $3.5\%$ in classification accuracy, as compared to the best existing method in the literature. Our code and models are available at https://github.com/Anirudh257/strm.

研究の動機と目的

• 限られたサポートサンプルにより正確な分類が困難となる少数ショット行動認識の課題に対処する。
• 動画表現における空間的および時間的文脈を明示的にモデル化することで、特徴の判別能を向上させる。
• 固定されたタプル表現と文脈強化の欠如により、空間的・時間的変動に弱い従来手法（例：TRX）の限界を克服する。
• 異なるアクション速度、オフセット、および干渉要因があっても、クエリ動画とサポート動画間の時間的関係を堅牢にモデリング可能にする。
• 適応的かつサンプル依存の特徴強化により、低基数での高次時間的関係の学習を可能にすることで、モデルの柔軟性を向上させる。

提案手法

• 局所的なパッチレベル特徴強化（PLE）とグローバルなフレームレベル特徴強化（FLE）の2つのサブモジュールを備えた空間時間的強化モジュールを提案する。
• 各フレーム内での行動カテゴリ間の外観類似性および相違性を捉えるために、PLEでサンプル依存の自己注意を用いる。
• FLEでは、サンプルに依存しない恒常的メモリベースの集約を実装し、動画全体の長距離時間的依存性および物体の運動を符号化する。
• 特徴学習段階でクラス固有の判別能を強化するために、パッチレベル特徴にクエリ-クラス類似度分類器を導入する。
• クエリとサポートの部分列間の動的タプルマッチングにより、固定基数ブランチに依存しない高次時間的関係を学習する。
• GPUメモリ制限のため、16イテレーションにわたる勾配蓄積を用いてモデルを訓練し、8フレームの均等サンプリングとセンタークロップ推論を採用する。

実験結果

リサーチクエスチョン

• RQ1 明示的な空間時間的文脈モデリングは、少数ショット行動認識における特徴の判別能を向上させ得るか？
• RQ2 局所的なパッチレベルとグローバルなフレームレベルの特徴強化を組み合わせることで、少数ショット設定における時間的関係学習にどのような影響を与えるか？
• RQ3 強化された特徴に中間の分類ヘッドを設けることで、モデルの汎化性能と判別能力が向上するか？
• RQ4 固定ブランチアプローチと比較して、低基数での高次時間的関係の学習は、モデルの柔軟性と性能を向上させるか？
• RQ5 提案手法は、挑戦的な少数ショットベンチマークにおいて、既存の最先端手法をどの程度上回るか？

主な発見

• STRMは、Kinetics、SSv2、HMDB51、UCF101の4つの少数ショット行動認識ベンチマークで、いずれも新たな最先端性能を達成した。
• 挑戦的なSSv2ベンチマークでは、既存の最高手法と比較して3.5%の絶対的精度上昇を達成した。
• 定性的な注目マップから、STRMは微細な動き差異を示す細かい行動でさえ、行動関連の物体や運動パターンを効果的に強調していることが示された。
• モデルはより良い代表的なマッチングを実現するタプルマッチング性能を示しており、特徴の判別能と時間的推論の向上のおかげで、サポート動画内のより適切な一致が得られている。
• アブレーションスタディにより、パッチレベルおよびフレームレベルの強化コンponents、および中間のクエリ-クラス類似度分類器の有効性が確認された。
• 変動する物体、背景、および干渉運動が存在する状況においても、より堅牢で判別力の高い表現を学習することが可能となった。