[論文レビュー] TTAN: Two-Stage Temporal Alignment Network for Few-shot Action Recognition.

Shuyuan Li, Huabin Liu+6 more|arXiv (Cornell University)|Jul 10, 2021

Human Pose and Action Recognition参考文献 30被引用数 6

ひとこと要約

本論文では、少数ショット行動認識のための二段階時系列整合化ネットワークであるTTANを提案する。本手法は、アフィン時系列変換による時系列の整合化と、クロスアテンションによる特徴の調整を組み合わせることで、時系列の不整合を解消する。行動持続時間と運動進化の不整合をモデル化しつつ、新規のマルチショット融合戦略を組み込むことで、最先端の性能を達成する。

ABSTRACT

Few-shot action recognition aims to recognize novel action classes (query) using just a few samples (support). The majority of current approaches follow the metric learning paradigm, which learns to compare the similarity between videos. Recently, it has been observed that directly measuring this similarity is not ideal since different action instances may show distinctive temporal distribution, resulting in severe misalignment issues across query and support videos. In this paper, we arrest this problem from two distinct aspects -- action duration misalignment and motion evolution misalignment. We address them sequentially through a Two-stage Temporal Alignment Network (TTAN). The first stage performs temporal transformation with the predicted affine warp parameters, while the second stage utilizes a cross-attention mechanism to coordinate the features of the support and query to a consistent evolution. Besides, we devise a novel multi-shot fusion strategy, which takes the misalignment among support samples into consideration. Ablation studies and visualizations demonstrate the role played by both stages in addressing the misalignment. Extensive experiments on benchmark datasets show the potential of the proposed method in achieving state-of-the-art performance for few-shot action recognition.

研究の動機と目的

• クエリ動画とサポート動画の間で行動持続時間が不一致であり、運動進化のパターンも異なるという、少数ショット行動認識における時系列の不整合の課題に対処すること。
• 時系列分布の違いを考慮しないで直接動画特徴を比較するメトリック学習手法の限界を克服すること。
• 行動持続時間の不整合と運動進化の不整合を段階的に是正することで、特徴の整合性を向上させる二段階フレームワークの開発。
• 複数のサポートサンプル間の不整合を明示的にモデル化することで、認識のロバスト性を向上させるマルチショット融合戦略の導入。
• 時系列整合化と特徴調整の向上により、標準的な少数ショット行動認識ベンチマークで最先端の性能を達成すること。

提案手法

• 第一段階でアフィンワープパラメータを適用し、クエリ動画をサポート動画に合わせて時系列的にスケーリングすることで、行動持続時間の不整合を是正する。
• 第二段階でクロスアテンション機構を用い、時系列的進化パターンに基づいてサポート動画とクエリ動画の特徴を動的に整合化する。
• クロスアテンションモジュールを統合し、クエリとサポートモダリティ間の対応する時系列セグメントに注目することで、特徴表現を精緻化する。
• 複数のサポートサンプルからの特徴を集約する際、サンプル間の不整合をモデル化するマルチショット融合戦略を設計する。
• 対応するクエリとサポートペア間の特徴類似度を最適化するために、対照的損失を用いてネットワークをエンドツーエンドで学習する。
• 二段階の整合化機構を適用する前に、事前学習済みの動画バックボーン（例：I3D）を用いて初期特徴を抽出する。

実験結果

リサーチクエスチョン

• RQ1 クエリ動画とサポート動画間の時系列の不整合は、少数ショット行動認識の性能にどのように影響するか？
• RQ2 アフィン時系列変換は、少数ショット動画認識において、行動持続時間の不整合をどの程度軽減できるか？
• RQ3 クロスアテンション機構は、クエリ動画とサポート動画間で運動進化パターンを効果的に整合化できるか？
• RQ4 複数のサポートサンプル間の不整合をモデル化することで、認識精度はどの程度向上するか？
• RQ5 提案された二段階の整合化フレームワークは、既存のメトリック学習ベースの手法に比べ、少数ショット行動認識ベンチマークで優れた性能を示すか？

主な発見

• TTANは、標準的な少数ショット行動認識ベンチマークで最先端の性能を達成し、新規の行動クラスへの一般化能力に優れていることが示された。
• アブレーションスタディの結果、TTANの両段階が性能向上に顕著に寄与しており、特に第二段階（クロスアテンション）が最大の寄与を示した。
• マルチショット融合戦略は、特徴集約の過程でサポートサンプル間の不整合を効果的にモデル化することで、認識精度を向上させた。
• 可視化結果から、クロスアテンション機構がクエリ動画とサポート動画間の特徴的な時系列セグメントを成功裏に整合化していることが確認された。
• 二段階の整合化フレームワークは、特に行動持続時間や運動ダイナミクスの変動が大きいケースにおいて、特徴の不整合を顕著に低減した。
• TTANは、1つまたは少数のサポートサンプルしか利用しない少数ショット設定においても、既存のメトリック学習ベースの手法を上回る性能を示した。