[論文レビュー] PoseTrack: Joint Multi-Person Pose Estimation and Tracking

Umar Iqbal, Anton Milan+1 more|arXiv (Cornell University)|Nov 23, 2016

Human Pose and Action Recognition参考文献 36被引用数 7

ひとこと要約

本論文は、空間的・時間的整数線形計画法（ILP）を用いて、空間的・時間的領域で人体関節検出を最適化する、非制約動画における多人数ポーズ推定とトラッキングの統合フレームワークを提案する。本手法は、ポーズ軌道を密な空間的・時間的グラフ内の部分グラフとしてモデル化し、遮蔽、断片化、変動する人物数の処理を強力に可能にし、PoseTrackデータセットにおいてMOTA 56.2%、mAP 56.2%という最先端の性能を達成した。

ABSTRACT

In this work, we introduce the challenging problem of joint multi-person pose estimation and tracking of an unknown number of persons in unconstrained videos. Existing methods for multi-person pose estimation in images cannot be applied directly to this problem, since it also requires to solve the problem of person association over time in addition to the pose estimation for each person. We therefore propose a novel method that jointly models multi-person pose estimation and tracking in a single formulation. To this end, we represent body joint detections in a video by a spatio-temporal graph and solve an integer linear program to partition the graph into sub-graphs that correspond to plausible body pose trajectories for each person. The proposed approach implicitly handles occlusion and truncation of persons. Since the problem has not been addressed quantitatively in the literature, we introduce a challenging "Multi-Person PoseTrack" dataset, and also propose a completely unconstrained evaluation protocol that does not make any assumptions about the scale, size, location or the number of persons. Finally, we evaluate the proposed approach and several baseline methods on our new dataset.

研究の動機と目的

• 非制約動画における多人数ポーズ推定とトラッキングの統合的かつ定量的な評価と統一的モデリングの欠如に対処すること。
• 事前に検出されたバウンディングボックスや固定された人物数に依存せずに、複数フレームにわたるポーズ推定と人物トラッキングを同時に実行する手法を開発すること。
• 遮蔽、断片化、スケール変動、高速運動といった実世界の課題を処理できること。
• 事前に既知の人物数、サイズ、位置を仮定しない、新規のベンチマークデータセットと評価プロトコルを提供すること。
• ILPに基づく分割を用いた空間的・時間的グラフ定式化による統合最適化の有効性を示すこと。

提案手法

• 本手法は、フレーム間の人体関節検出結果を、フレーム内での空間的接続とフレーム間での時間的接続を持つ密な空間的・時間的グラフとして表現する。
• ポーズ推定とトラッキングの問題を、各人物の有効なポーズ軌道にグラフを分割する整数線形計画法（ILP）として定式化する。
• 物理的に妥当なポーズ系列を保証するため、空間的推移性、時間的推移性、空間的・時間的制約をILPに組み込む。
• 時間窓（τ = 3または5）内での関節候補同士の接続を含み、エッジ密度と制約タイプをパフォーマンスに合わせて調整する。
• 別個の人物検出器やスケール推定を必要とせず、検出、関連付け、ポーズ整合性を同時に最適化する。
• 解はILP最適化により計算され、1スレッドCPU上での平均実行時間は1フレームあたり約14.7秒である。

実験結果

リサーチクエスチョン

• RQ1 非制約動画における多人数ポーズ推定とトラッキングを統合的に最適化する定式化は可能か？
• RQ2 時間的および空間的・時間的制約を含めることで、トラッキングおよびポーズ推定の精度はどのように向上するか？
• RQ3 事前の検出に依存せずに、遮蔽、断片化、変動する人物数をどの程度処理できるか？
• RQ4 提案手法は、最先端の1フレーム単位のポーズ推定およびトラッキングベースラインと比較してどのように優れているか？
• RQ5 エッジ密度や時間窓長さなどの異なるグラフ構築戦略がパフォーマンスに与える影響はいかほどか？

主な発見

• 提案手法はPoseTrackデータセットでMOTA 56.2%を達成し、DeeperCut や LJPA などのベースライン手法を上回った。
• フレーム単位の多人数ポーズ推定におけるmAPは56.2%に達し、別個の人物検出器を必要とする手法を著しく上回った。
• 首および肩関節（HT:N:S）の時間的接続を含めることで、mAPは34.3%から37.9%に向上し、股関節を追加するとさらなる向上が得られた。
• 空間的推移性制約を削除するとmAPが3.5%低下し、時間的または空間的・時間的制約を削除すると、それぞれ8%以上、10%以上の低下が生じた。
• 遮蔽や断片化が深刻な状況下でも、ILP定式化がグラフ分割を通じてこれらを暗黙的にモデル化できるため、良好な性能を発揮した。
• 空間的・時間的グラフの構築および解法に要する平均実行時間は、1スレッド3.3GHz CPU上で1フレームあたり14.7秒であり、平均ノード数は2084、時間的エッジ数は12,903であった。