[論文レビュー] Few-shot Action Recognition with Permutation-invariant Attention

Hongguang Zhang, Li Zhang+4 more|arXiv (Cornell University)|Jan 12, 2020

Human Pose and Action Recognition参考文献 58被引用数 17

ひとこと要約

本論文では、変動する長さの動画クリップや時間的分布シフトに対処するため、順列不変なアテンションを用いた few-shot 動作認識フレームワークを提案する。ブロック順列による拡張誘導型アテンションと自己教師付き学習を適用することで、SOTA を上回る堅牢で不変な表現を学習し、HMDB51、UCF101、miniMIT で優れた性能を発揮する。

ABSTRACT

Many few-shot learning models focus on recognising images. In contrast, we tackle a challenging task of few-shot action recognition from videos. We build on a C3D encoder for spatio-temporal video blocks to capture short-range action patterns. Such encoded blocks are aggregated by permutation-invariant pooling to make our approach robust to varying action lengths and long-range temporal dependencies whose patterns are unlikely to repeat even in clips of the same class. Subsequently, the pooled representations are combined into simple relation descriptors which encode so-called query and support clips. Finally, relation descriptors are fed to the comparator with the goal of similarity learning between query and support clips. Importantly, to re-weight block contributions during pooling, we exploit spatial and temporal attention modules and self-supervision. In naturalistic clips (of the same class) there exists a temporal distribution shift--the locations of discriminative temporal action hotspots vary. Thus, we permute blocks of a clip and align the resulting attention regions with similarly permuted attention regions of non-permuted clip to train the attention mechanism invariant to block (and thus long-term hotspot) permutations. Our method outperforms the state of the art on the HMDB51, UCF101, miniMIT datasets.

研究の動機と目的

• ラベル付き動画データが限られる few-shot 動作認識の課題に対処し、時間的位置が著しく異なる動作パターンを扱う。
• 同じクラスのクリップ間で特徴的な動作セグメントが異なる時間に現れる時間的分布シフトを克服するため、ブロック順列に対して不変なアテンション機構を実現する。
• C3D を用いた空間時間的符号化と順列不変なプーリング、自己教師付き事前学習を組み合わせることで、低データ環境における表現学習を向上させる。
• クエリとサポートクリップ間の類似性をアテンション重み付きプールド表現を用いて学習する関係ベースの比較器を開発する。

提案手法

• 3D畳み込みにより短い時間的パターンを捉える C3D バックボーンを用いて、動画クリップからの空間時間的特徴を抽出する。
• 可変長のクリップ表現を固定長のベクトルに統合するために、順列不変なプーリングを適用し、長期的で繰り返しのない依存関係を無視する。
• 拡張誘導型アテンション機構を導入：訓練時、クリップのブロックを順列を入れ替え、非順列化と順列化されたパスからのアテンション重みを対照的損失により一致させる。
• ジャイガパズルおよび回転の拡張を用いた自己教師付き学習により、エンコーダー、比較器、アテンションモジュールを事前学習し、低ショット状況下での頑健性を向上させる。
• クエリとサポートクリップの表現をアテンション重み付き特徴を組み合わせることで関係記述子を構築し、その後、類似度比較器を用いて few-shot 分類を実行する。
• マッチングするクエリ・サポートペア間で類似度を高め、マッチしないペア間で類似度を低くする対照的損失を用いて、パイプライン全体をエンド・ツー・エンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 時間的および空間的ブロック順列に対して不変なアテンション機構を構築することで、few-shot 動作認識における頑健性を向上させることができるか？
• RQ2 順列不変なプーリングとアテンションを組み合わせることで、同じクラスのクリップ間で動作セグメントが非反復的かつ時間的に変動する状況下でも一般化性能が向上するか？
• RQ3 ジャイガパズルおよび回転の拡張を用いた自己教師付き事前学習が、低データ動画認識における特徴表現品質をどの程度向上させるか？
• RQ4 アテンション正則化付きプールド表現で訓練された場合、関係ベースの比較器はクエリとサポートクリップ間の類似性を効果的に学習できるか？
• RQ5 提案手法は、HMDB51、UCF101、miniMIT のような標準的な few-shot 動作認識ベンチマークで最先端の性能を達成するか？

主な発見

• 提案手法は、標準的な few-shot 評価プロトコルに従い、HMDB51 データセットで最先端の性能を達成し、先行手法を上回る。
• UCF101 データセットでは、限られたサポートサンプルを有する few-shot 環境においても、既存のベースラインを顕著に上回る改善を示した。
• miniMIT データセットにおいても、高いクラス多様性と複雑な動作変動があるにもかかわらず、提案手法は先行手法を上回る高い精度を達成し、強力な一般化性能を示した。
• アブレーションスタディの結果、順列不変なアテンションと自己教師付き学習の組み合わせにより、特に時間的分布シフト下でアテンションマップのアライメント誤差が低減された。
• 拡張誘導型アテンション（順列化および非順列化されたクリップビュー間でのアテンション重みの一致）を用いることで、より安定的で判別力のある特徴学習が実現した。
• 自己教師付き事前学習とアテンション正則化を用いることで、さまざまな few-shot 環境において一貫した精度向上が得られ、モデルの性能が頑健であることが示された。