[論文レビュー] Pose Flow: Efficient Online Pose Tracking

Yuliang Xiu, Jiefeng Li+3 more|arXiv (Cornell University)|Feb 3, 2018

Advanced Vision and Imaging被引用数 26

ひとこと要約

本論文では、非制限動画における多人数ポーズトラッキングを向上させるために、空間的・時間的ポーズフローを活用する効率的なオンラインポーズトラッキング手法Pose Flowを提案する。グローバル最適化に基づくPose Flowビルドャーとフローに配慮した非最大抑制（PF-NMS）を導入することで、PoseTrackチャレンジの検証セットで58.3%のMOTAと66.5%のmAPを達成し、既存のポーズ推定パイプラインに最小限の計算コスト増加でリアルタイム10 FPSの推論を維持する。

ABSTRACT

Multi-person articulated pose tracking in unconstrained videos is an important while challenging problem. In this paper, going along the road of top-down approaches, we propose a decent and efficient pose tracker based on pose flows. First, we design an online optimization framework to build the association of cross-frame poses and form pose flows (PF-Builder). Second, a novel pose flow non-maximum suppression (PF-NMS) is designed to robustly reduce redundant pose flows and re-link temporal disjoint ones. Extensive experiments show that our method significantly outperforms best-reported results on two standard Pose Tracking datasets by 13 mAP 25 MOTA and 6 mAP 3 MOTA respectively. Moreover, in the case of working on detected poses in individual frames, the extra computation of pose tracker is very minor, guaranteeing online 10FPS tracking. Our source codes are made publicly available(https://github.com/YuliangXiu/PoseFlow).

研究の動機と目的

• 非制限動画における遮蔽、断片化、運動ぼやけの影響により信頼性が低い1フレームごとのポーズ推定の課題に対処する。
• フレーム間のポーズフローを構築することで時間的整合性を活用し、トラッキングのロバスト性と正確性を向上させる。
• 既存のポーズ推定パイプラインに追加する計算コストを最小限に抑え、オンラインでリアルタイムのポーズトラッキングを実現する。
• 空間的・時間的コンテキストを用いて一時的に分断されたポーズフローを再連結することで、誤検出を低減し、IDスイッチを減少させる。

提案手法

• ポーズフロー全体の信頼度を最大化するように、オンライン最適化フレームワークを用いてフレーム間のポーズを一貫したポーズフローに関連付ける、Pose Flowビルドャー（PF-Builder）を提案する。
• 個々の検出ではなくポーズフローを対象として処理するPose Flow非最大抑制（PF-NMS）を導入し、時間的整合性を保持するとともに、重複を低減する。
• 動きのヒントを用いてボックスを前後方向に伝搬することで、欠落した検出を回復する、動きを考慮したボックス伝搬（DMGP）を統合する。
• オンラインでのハード例マイニングにより、股関節や足首など検出が難しいキーポイントの局所化を向上させる、改良された深層プロポーザルジェネレータ（iDPG）を採用する。
• 短い動画クリップのスライディングウインドウを用いて繰り返しポーズフローを構築することで、オンライン処理とスケーラビリティを実現する。
• ポーズ推定器の種類に依存しないモジュラーかつ汎用的なトラッカーを設計し、1フレームごとの検出が得られる限り、さまざまなポーズ推定器と互換性を持つ。

実験結果

リサーチクエスチョン

• RQ1 グローバル最適化に基づくポーズフロー構築アプローチは、グリーディーやIoUベースのマッチングと比較して、トラッキングのロバスト性を向上させることができるか？
• RQ2 フローに配慮したNMSは、重複するポーズフローをどれほど低減し、時間的に分断されたトラックを再連結できるか？
• RQ3 ポーズフローによる空間的・時間的コンテキストの統合は、遮蔽や運動ぼやけといった困難な状況下でもトラッキング性能を向上させるか？
• RQ4 提案手法は、先行の最先端手法を著しく上回る性能を発揮しながらも、リアルタイム性能（10 FPS）を維持できるか？
• RQ5 PF-Builder、PF-NMS、DMGP、iDPGの各モジュールが、全体のトラッキング性能に果たす個別の貢献度は何か？

主な発見

• 提案されたPose Flowトラッカーは、PoseTrackチャレンジの検証セットで58.3%のMOTAと66.5%のmAPを達成し、先行の最先端手法をmAPで13ポイント、MOTAで25ポイント上回った。
• テストセットでは51.0%のMOTAと63.0%のmAPを達成し、未学習データに対しても強力な汎化性能とロバスト性を示した。
• PF-NMSは、ベースラインのIoUトラッカーと比較して、mAPで1.9ポイント、MOTAで2.5ポイント向上させ、冗長なフローの低減と分断されたフローの再連結の有効性を示した。
• アブレーションスタディの結果、PF-BuilderとPF-NMSが相乗的に寄与しており、PF-Builder単体でもIoUトラッカーのベースラインからMOTAが2.5%向上した。
• 1フレームあたり100msの追加計算コストで、検出済みポーズに対して10 FPSの推論速度を維持しており、リアルタイムアプリケーションに適している。
• iDPGとDMGPモジュールは、それぞれキーポイントの局所化精度向上で1.1 mAP、検出再現率向上で0.5 MOTAの改善をもたらした。