[論文レビュー] Multi-person Articulated Tracking with Spatial and Temporal Embeddings

Sheng Jin, Wentao Liu+2 more|arXiv (Cornell University)|Mar 21, 2019

Human Pose and Action Recognition参考文献 33被引用数 7

ひとこと要約

本論文は、空間キーポintsグループ化にSpatialNet、時間的トラジェクトリ関連付けにTemporalNetを用いることで、多人数のアーティキュレートポーズトラッキングのための統合的でエンド・ツー・エンドで学習可能なフレームワークを提案する。キーポイント埋め込み（KE）、空間的インスタンス埋め込み（SIE）、人間埋め込み（HE）、時間的インスタンス埋め込み（TIE）に加え、微分可能ポーズガイドドグループ化（PGG）モジュールを導入することで、PoseTrackにおけるMOTAを65.4%から71.8%まで向上させ、最先端の性能を達成した。

ABSTRACT

We propose a unified framework for multi-person pose estimation and tracking. Our framework consists of two main components,~\ie~SpatialNet and TemporalNet. The SpatialNet accomplishes body part detection and part-level data association in a single frame, while the TemporalNet groups human instances in consecutive frames into trajectories. Specifically, besides body part detection heatmaps, SpatialNet also predicts the Keypoint Embedding (KE) and Spatial Instance Embedding (SIE) for body part association. We model the grouping procedure into a differentiable Pose-Guided Grouping (PGG) module to make the whole part detection and grouping pipeline fully end-to-end trainable. TemporalNet extends spatial grouping of keypoints to temporal grouping of human instances. Given human proposals from two consecutive frames, TemporalNet exploits both appearance features encoded in Human Embedding (HE) and temporally consistent geometric features embodied in Temporal Instance Embedding (TIE) for robust tracking. Extensive experiments demonstrate the effectiveness of our proposed model. Remarkably, we demonstrate substantial improvements over the state-of-the-art pose tracking method from 65.4\% to 71.8\% Multi-Object Tracking Accuracy (MOTA) on the ICCV'17 PoseTrack Dataset.

研究の動機と目的

• 遮蔽、動き、カメラの変化を伴う複雑な動画における多人数のアーティキュレートトラッキングの課題に対処すること。
• OKS や IoU といったタスクに依存しない類似度指標や、後処理に依存する既存手法の限界を克服すること。
• グループ化を学習パイプラインに統合することで、ポーズ推定とトラッキングのエンド・ツー・エンド学習を可能にすること。
• 時間的空間的特徴を統合することで、外見的特徴（HE）と幾何的特徴（TIE）を組み合わせ、ポーズ変化やカメラの動きに対する耐性を高めること。
• バックプロパゲーションによるトラッキング誤差の低レベル特徴学習への伝搬を可能にする、微分可能なポーズガイドドグループ化モジュールの開発

提案手法

• SpatialNetは、キーポイント埋め込み（KE）と空間的インスタンス埋め込み（SIE）を用いて、1フレーム内のボディパーツ検出とパーツレベルのグループ化を実行する。さらに、解釈性と収束性の向上を図るための補助的順序関係予測を併用する。
• ポーズガイドドグループ化（PGG）モジュールにより、検出とグループ化のパイプライン全体を微分可能かつエンド・ツー・エンドで学習可能とし、トラッキング損失から特徴抽出段階への勾配伝播を可能にする。
• TemporalNetは、人間埋め込み（HE）を用いて全体的な外見特徴を、時間的インスタンス埋め込み（TIE）を用いてフレーム間の一貫性を確保することで、空間的グループ化を時間的トラッキングに拡張する。
• HEとTIEは共同最適化され、TIEによるポーズ変化への耐性とHEによるカメラ移動への耐性をバランスさせることで、困難な条件下でもより信頼性の高いトラッキングを実現する。
• 空間的および時間的埋め込みを統合的に統合した一貫性のあるアーキテクチャを構築し、効率的な特徴抽出を実現するため、共有バックボーンを採用する。
• キーポイント検出、埋め込み予測、順序関係の監視を統合したマルチタスク学習戦略により、汎化性能と学習安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 統合的でエンド・ツー・エンドで微分可能なフレームワークが、空間的および時間的埋め込みを統合することで、多人数ポーズトラッキングの性能向上を図れるか？
• RQ2 時間的領域における外見的特徴（HE）と幾何的特徴（TIE）を統合することで、単独の指標（例：OKS や IoU）と比較して、ポーズ変化やカメラの動きに対する耐性がどのように向上するか？
• RQ3 微分可能なグループ化モジュール（PGG）を導入することで、非微分可能な後処理に比べて、パーツレベルおよびインスタンスレベルの関連付けの精度がどの程度向上するか？
• RQ4 補助的順序予測による幾何的順序制約を導入することで、キーポイント埋め込み（KE）と空間的インスタンス埋め込み（SIE）の解釈性と性能がどのように向上するか？
• RQ5 OKS や IoU といったタスクに依存しない指標を用いた最先端のトラッキングベースラインと比較して、困難な動画条件下におけるMOTAおよびAPの観点から、本手法の性能はどの程度優れているか？

主な発見

• 提案手法は、ICCV’17 PoseTrackデータセットにおいて71.8%のMOTAを達成し、従来のSOTA（65.4%）を大幅に上回る新たな最先端性能を達成した。
• MS-COCOデータセットでは、アンサンブルやリファインメントを用いずに単一フレームのポーズ推定で77.0 APを達成し、マルチスケール推論下で先行手法より3%高いAPを達成した。
• アブレーションスタディの結果、KEとSIEに加え補助的順序予測とPGGを組み合わせたアプローチが最良の性能を示し、MS-COCOでは77.0 AP、PoseTrackでは71.8% MOTAを達成した。
• ポーズガイドドグループ化（PGG）モジュールは、埋め込みのコンパクト性と精度を顕著に向上させた。可視化結果から、同じ人物に属するピixelsの埋め込み値がPGG後にはより一貫性を持つことが確認された。
• HEとTIEを備えたTemporalNetは、優れたトラッキングの耐性を実現した：HEはカメラのズームや移動に対応し、TIEは大規模なポーズ変化や遮蔽に対しても一貫性を維持した。
• 実行時間解析の結果、本手法は高い効率性を維持していることが示された。SpatialNetはトップダウンベースラインを精度面で上回りながらも、計算コストを低く抑え、TemporalNetはグラフカットベースのトラッカーに比べてより効率的であった。