[論文レビュー] 3D Skeleton-based Few-shot Action Recognition with JEANIE is not so Naïve

Lei Wang, Jun Liu+1 more|arXiv (Cornell University)|Dec 23, 2021

Human Pose and Action Recognition被引用数 7

ひとこと要約

本稿では、3次元骨格データに対するfew-shot行動認識フレームワークであるJEANIEを提案する。本手法は、微分可能で射影幾何学に配慮した動的時間ワープ（DTW）の変種を用いて、時系列と模擬的カメラ画角の両方の整合性を同時に最適化する。4次元時系列-画角空間における滑らかな経路をモデル化し、類似度に基づく損失関数を用いた軽量なグラフニューラルネットワークを採用することで、NTU-60、NTU-120、Kinetics-skeleton、UWA3D Multiview Activity IIの各ベンチマークで最先端の性能を達成し、ベースライン手法を最大6%上回り、新規の視点やfew-shot条件に対しても頑健であることを示した。

ABSTRACT

In this paper, we propose a Few-shot Learning pipeline for 3D skeleton-based action recognition by Joint tEmporal and cAmera viewpoiNt alIgnmEnt (JEANIE). To factor out misalignment between query and support sequences of 3D body joints, we propose an advanced variant of Dynamic Time Warping which jointly models each smooth path between the query and support frames to achieve simultaneously the best alignment in the temporal and simulated camera viewpoint spaces for end-to-end learning under the limited few-shot training data. Sequences are encoded with a temporal block encoder based on Simple Spectral Graph Convolution, a lightweight linear Graph Neural Network backbone (we also include a setting with a transformer). Finally, we propose a similarity-based loss which encourages the alignment of sequences of the same class while preventing the alignment of unrelated sequences. We demonstrate state-of-the-art results on NTU-60, NTU-120, Kinetics-skeleton and UWA3D Multiview Activity II.

研究の動機と目的

• 限られたラベル付きデータによるメトリクス学習の困難さに起因する、3次元骨格シーケンスにおけるfew-shot行動認識の課題に対処すること。
• 可変な運動速度やカメラアングルに起因する時系列と画角のずれを同時にモデル化することで、クエリとサポートシーケンス間のマッチングを向上させること。
• 時系列および模擬的カメラ画角空間の両方で動作する微分可能でエンドツーエンド学習可能な整合化メカニズムを構築すること。
• 3次元骨格データを用いて、低ショット設定下での新規行動クラスへの一般化性能を向上させること。
• NTU-120 や UWA3D Multiview Activity II といったマルチビュー3次元骨格データセットにおける、few-shot行動認識の新しいベンチマークを確立すること。

提案手法

• 時系列と模擬的カメラ画角空間の両方で整合性を最適化する微分可能で射影幾何学に基づいた動的時間ワープ（DTW）の変種を提案する。
• ステレオ投影代数を用いて複数の模擬的カメラ画角を生成し、実際のカメラキャリブレーションを必要とせずに視点不変な表現学習を可能にする。
• シンプルなスペクトルグラフ畳み込み（SGC）ベースの時系列ブロックエンコーダーを軽量なバックボーンとして採用し、特徴学習の強化を目的にオプションでTransformerバージョンを提供する。
• 同クラスの行動シーケンスの整合性を促進するとともに、関係のないシーケンス間の整合性を抑制する類似度に基づく損失関数を導入する。
• 4次元空間（時間 × 視点）における統合パスを最適化することでエンドツーエンド学習を実現し、各ステップで小さな視点シフトに制限を設ける。
• 固定長Mの時系列ブロックをストライドSで抽出することで、アラインメントの前段階で局所的表現を取得し、長時間のシーケンス処理を効率化する。

実験結果

リサーチクエスチョン

• RQ1 限られた監視下において、時系列と視点の両方を統合的に整合化することで、3次元骨格シーケンスにおけるfew-shot行動認識が向上するか？
• RQ2 ステレオ投影幾何学を用いた視点整合化は、単純なオイラー角回転よりもfew-shot設定で優れた性能を示すか？
• RQ3 提案された微分可能な整合化メカニズムは、可変な運動速度とカメラ画角に対しても効果的に機能するか？
• RQ4 類似度に基づく損失関数は、新規の行動クラスや未観測の視点への一般化性能をどの程度向上させるか？
• RQ5 提案手法は複数のカメラビューにまたがって一般化可能であり、マルチビュー3次元骨格ベンチマークで最先端の性能を達成できるか？

主な発見

• Kinetics-skeletonではfew-shot条件下で52.5%の正確度を達成し、ベースライン（soft-DTWのみ）を12.9%、Free Viewpoint Matching（FVM）を12.2%上回った。
• UWA3D Multiview Activity IIでは、S 2 GCバックボーンを用いたJEANIEが平均63.7%の正確度を達成し、S 2 GCベースラインを10.1%、FVMを12.0%上回った。
• NTU-120マルチビュー分類では、左および中央視点で学習し、右視点でテストした場合、新規クラスで70.8%の正確度を達成し、未観測の視点への強い一般化能力を示した。
• Transformerエンコーダーの追加により、Kinetics-skeletonでの性能が2%向上し、より洗練された特徴モデリングの利点を示した。
• 2次元骨格ではなく3次元骨格を用いることで、すべてのベンチマークで3–4%の性能向上が見られ、3次元幾何情報の優位性を裏付けた。
• すべてのデータセットおよび設定において、同クラスおよび新規クラスのfew-shot評価プロトコルの両方で、すべてのベースラインを一貫して上回った。