[論文レビュー] CrowdPose: Efficient Crowded Scenes Pose Estimation and A New Benchmark

Jiefeng Li, Can Wang+4 more|arXiv (Cornell University)|Dec 2, 2018

Human Pose and Action Recognition参考文献 28被引用数 41

ひとこと要約

本論文は joint-candidate SPPE とグローバル最大関節アソシエーションを導入し、混雑したシーンでの多人数姿勢推定を改善し、CrowdPose データセットを提示する。CrowdPose での 5.2 mAP の向上を達成し、MSCOCO へ一般化する。

ABSTRACT

Multi-person pose estimation is fundamental to many computer vision tasks and has made significant progress in recent years. However, few previous methods explored the problem of pose estimation in crowded scenes while it remains challenging and inevitable in many scenarios. Moreover, current benchmarks cannot provide an appropriate evaluation for such cases. In this paper, we propose a novel and efficient method to tackle the problem of pose estimation in the crowd and a new dataset to better evaluate algorithms. Our model consists of two key components: joint-candidate single person pose estimation (SPPE) and global maximum joints association. With multi-peak prediction for each joint and global association using graph model, our method is robust to inevitable interference in crowded scenes and very efficient in inference. The proposed method surpasses the state-of-the-art methods on CrowdPose dataset by 5.2 mAP and results on MSCOCO dataset demonstrate the generalization ability of our method. Source code and dataset will be made publicly available.

研究の動機と目的

• 遮蔽や重なりによって性能が低下する混雑したシーンで、姿勢推定の改善を動機付ける。
• グローバル情報を利用してあいまいな関節を解決する高速で頑健な手法を開発する。
• 混雑度が均一なデータセットを作成し、混雑していないシーンと混雑したシーンの両方で性能を評価する。
• MSCOCO での手法の一般化を示し、公開可能なコードとデータを提供する。

提案手法

• 人提案を用いた2段階のトップダウンパイプラインと単一人物の姿勢推定を使用する。
• joint-candidate SPPE を導入し、各関節に複数の候補関節を予測し、ターゲット関節と干渉関節を組み込む。
• 人提案と関節候補を結ぶ人-関節グラフを構築する。
• Kuhn–Munkres アルゴリズムによって解かれる K 個の二部グラフ問題に分解されたグラフマッチング形式を用いたグローバル最大関節アソシエーションを適用する。
• greedy NMS に同程度の難しさであり、スパース性を活用することを証明して計算効率を確保する。

実験結果

リサーチクエスチョン

• RQ1 近接する人物からの干渉に対して混雑シーンでの姿勢推定をどのように頑健にできるか？
• RQ2 関節候補を用いた多峰アプローチは、精度を犠牲にせず真の関節のリコールを改善できるか？
• RQ3 グローバルでグラフベースのアソシエーションは、ローカルまたはグリーディ法より正しい関節-to-人物の割り当てを改善するか？
• RQ4 提案された CrowdPose データセットは、混雑していないシーンと混雑したシーンの評価をどれだけサポートし、一般化を促進するか？

主な発見

• 提案手法は同じバックボーンでCrowdPoseにおいて最先端を5.2 mAP上回る。
• MSCOCO では、SPPE と後処理を提案モジュールに置換すると +0.8 mAP を達成。
• 本手法は CrowdPose テストセットで 10.1 FPS を達成し、混雑シーンにおける精度と速度のバランスを取る。
• CrowdPose データセットは均一な Crowd Index 分布と MSCOCO、MPII、AI Challenger より高い平均境界ボックス IoU (0.27) を示し、多様な評価を支持する。
• joint-candidate loss は標準損失 (61.7%) を用いた場合と比較して mAP を大幅に改善し (66.0%)。