[論文レビュー] AlphaPose: Whole-Body Regional Multi-Person Pose Estimation and Tracking in Real-Time

Haoshu Fang, Jiefeng Li+6 more|arXiv (Cornell University)|Nov 7, 2022

Human Pose and Action Recognition被引用数 37

ひとこと要約

AlphaPose は、マルチ人のシーンで全身（顔、身体、手、足）の姿勢推定と追跡をリアルタイムに行うシステムを提示し、対称積分キーポイント回帰、姿勢ベースのNMS、姿勢認識埋め込み、そして不完全な検出や複数ドメインのデータを扱う学習戦略を導入します。

ABSTRACT

Accurate whole-body multi-person pose estimation and tracking is an important yet challenging topic in computer vision. To capture the subtle actions of humans for complex behavior analysis, whole-body pose estimation including the face, body, hand and foot is essential over conventional body-only pose estimation. In this paper, we present AlphaPose, a system that can perform accurate whole-body pose estimation and tracking jointly while running in realtime. To this end, we propose several new techniques: Symmetric Integral Keypoint Regression (SIKR) for fast and fine localization, Parametric Pose Non-Maximum-Suppression (P-NMS) for eliminating redundant human detections and Pose Aware Identity Embedding for jointly pose estimation and tracking. During training, we resort to Part-Guided Proposal Generator (PGPG) and multi-domain knowledge distillation to further improve the accuracy. Our method is able to localize whole-body keypoints accurately and tracks humans simultaneously given inaccurate bounding boxes and redundant detections. We show a significant improvement over current state-of-the-art methods in both speed and accuracy on COCO-wholebody, COCO, PoseTrack, and our proposed Halpe-FullBody pose estimation dataset. Our model, source codes and dataset are made publicly available at https://github.com/MVIG-SJTU/AlphaPose.

研究の動機と目的

• 複雑な行動のために、顔・手・足を含む正確でリアルタイムな全身姿勢推定を促進する。
• 不完全な検出や冗長な提案に頑健なトップダウン框架の開発。
• キーポイントの局所化、検出の統合、フレーム間の同一性追跡を改善する新規技術の導入。
• 野外データでの全身姿勢推定を進化させるための学習戦略と新しいデータセットを提供する。

提案手法

• 量子化誤差を低減しつつ、高速で正確なキーポイント局所化を実現する対称積分キーポイント回帰（SIKR）。
• 学習済みの姿勢距離指標を用いたパラメトリック姿勢非最大抑制（P-NMS）で冗長検出を除去。
• 姿勢認識埋め込みと姿勢ガイド付き注意機構で、姿勢推定と追跡を同時に可能にする。
• 部位ガイド付き提案発生器（PGPG）による、体の部位ごとの検出出力分布を模倣して学習データを増強。
• 300Wface、FreiHand、InterHand などのデータセットを活用したマルチドメイン知識蒸留による一般化性能の向上。
• 信頼度推定を積分回帰から切り離し、キーポイントスコアリングのサイズ依存性を低減する2段階ヒートマップ正規化戦略。

実験結果

リサーチクエスチョン

• RQ1 トップダウンフレームワーク内で、複数人数のリアルタイムな正確な全身姿勢推定をどう達成するか？
• RQ2 さまざまなスケールと不完全な検出に効果的に対応するキーポイント回帰とNMS手法を設計できるか？
• RQ3 野外データとマルチドメインの結合局所化への一般化を改善する学習戦略は何か？
• RQ4 姿勢情報を活用してフレーム間の人物再識別と追跡を改善するには？

主な発見

• 提案された SIKR 手法は量子化とスケール変動に対処し、身体・顔・手の正確な関節局所化を実現します。
• データ駆動の姿勢距離を用いたP-NMSは冗長性の除去と最終姿勢選択を改善します。
• 姿勢誘導型注意とMSIMは、姿勢・ボックス・再同一性特徴を統合してオンラインのリアルタイム追跡を可能にします。
• PGPGとマルチドメイン蒸留は検出ノイズやドメイン間データに対する頑健性を高め、COCO-wholebody、COCO、PoseTrack、Halpe-FullBody のデータセットで性能を向上させます。
• AlphaPose は複数のベンチマークで最先端手法より速度と精度を向上させ、公開コードとデータセットがあります。