[論文レビュー] Deep Dual Consecutive Network for Human Pose Estimation

Zhenguang Liu, Haoming Chen+5 more|arXiv (Cornell University)|Mar 12, 2021

Human Pose and Action Recognition参考文献 51被引用数 11

ひとこと要約

本論文は、連続する動画フレームからの双方向時系列的文脈を活用して、動きぼけ、隠蔽、合焦点外の困難な状況下でもキーポイント検出を向上させる、新しい深層二重連続ネットワークであるDCPoseを提案する。Pose Temporal Merger、Pose Residual Fusion、およびマルチ拡張ポーズ補正ネットワークを統合することで、最先端の性能を達成し、PoseTrack2017およびPoseTrack2018ベンチマークでそれぞれ1位を獲得し、mAPが82.8に達した。

ABSTRACT

Multi-frame human pose estimation in complicated situations is challenging. Although state-of-the-art human joints detectors have demonstrated remarkable results for static images, their performances come short when we apply these models to video sequences. Prevalent shortcomings include the failure to handle motion blur, video defocus, or pose occlusions, arising from the inability in capturing the temporal dependency among video frames. On the other hand, directly employing conventional recurrent neural networks incurs empirical difficulties in modeling spatial contexts, especially for dealing with pose occlusions. In this paper, we propose a novel multi-frame human pose estimation framework, leveraging abundant temporal cues between video frames to facilitate keypoint detection. Three modular components are designed in our framework. A Pose Temporal Merger encodes keypoint spatiotemporal context to generate effective searching scopes while a Pose Residual Fusion module computes weighted pose residuals in dual directions. These are then processed via our Pose Correction Network for efficient refining of pose estimations. Our method ranks No.1 in the Multi-frame Person Pose Estimation Challenge on the large-scale benchmark datasets PoseTrack2017 and PoseTrack2018. We have released our code, hoping to inspire future research.

研究の動機と目的

• 画像ベースのポーズ推定モデルが動画シーケンスにおいて抱える限界、特に動きぼけ、合焦点外、隠蔽の状況下での課題を解決すること。
• 連続する動画フレーム間の時系列的依存関係を明示的にモデリングすることで、キーポイント検出のロバスト性を向上させること。
• RNNや光流に基づく手法が低品質または隠蔽のある動画フレームで示す短所を克服すること。
• 過去および未来のフレームからの空間的・時系列的特徴を効果的に統合し、精緻なポーズ推定を実現するフレームワークを設計すること。

提案手法

• Pose Temporal Merger (PTM) ネットワークは、グループ畳み込みを用いて3つの連続フレームのキーポイントヒートマップを集約し、空間的文脈が強化された局所的探索範囲を生成する。
• Pose Residual Fusion (PRF) モジュールは、時間的距離に基づいて重み付けされたフレーム間キーポイントオフセットを計算し、過去および未来のフレームを用いた双方向的精緻化を可能にする。
• Pose Correction Network (PCN) は、増加するレート（d ∈ {3,6,9,12,15}）を持つ5つの並列拡張畳み込みを適用し、局所的探索範囲内のヒートマップを再サンプリングし、マルチスケールの文脈を捉える。
• このフレームワークはエンド・ツー・エンドで学習され、二重方向時系列モデリングと動的リーマンス統合を組み込んだPoseWarperアーキテクチャを拡張したものである。
• 補助フレームの真値ラベルを必要とせず、ラベルなしの近接フレームを活用して現在のフレームの予測を精緻化する。
• PCNにおける複数の拡張レートの使用により、有効な受容 field が拡大され、局所的およびグローバルな空間的依存関係のモデリングが向上する。

Figure 1: An illustration of our Pose Temporal Merger (PTM) network. (a): Original video sequence in the datasets, and we aim to detect poses in the current frame ${F}_{c}$ . (b): Each person in the original video sequence is assembled to a cropped clip and a single-person joints detector gives prel

実験結果

リサーチクエスチョン

• RQ1 連続する動画フレームからの双方向時系列モデリングは、動きぼけおよび隠蔽の状況下でもキーポイント検出のロバスト性を向上させ得るか？
• RQ2 過去および未来のフレームからのポーズリーマンスを統合することで、単方向または単一フレーム手法と比較して推定精度がどのように向上するか？
• RQ3 補正ネットワークにおけるマルチ拡張畳み込みは、多様な空間的文脈において、どのように局所化精度を向上させるか？
• RQ4 提案されたフレームワークは、困難な条件下で大規模な動画ポーズ推定ベンチマークにおいて、既存の最先端手法を上回る性能を示すか？

主な発見

• DCPoseはPoseTrack2018ベンチマークでmAPが82.8に達し、マルチフレーム人間ポーズ推定チャレンジで1位を獲得した。
• アブレーションスタディの結果、過去または未来のフレーム入力を削除すると、それぞれmAPが0.6および0.5低下し、二重方向時系列モデリングの価値が裏付けられた。
• Pose Correction Networkにおける拡張レートの増加により、mAPは81.7（d=3）から82.8（d∈{3,6,9,12,15}）へと継続的に向上し、マルチスケール文脈モデリングの利点が示された。
• 時間間隔が広がる（T=2,3,4）と性能が低下し、mAPはT=1の82.8から81.7に低下した。これは短時間間隔における時系列的一致性の仮定が妥当であることを裏付けた。
• 可視化比較では、DCPoseはSimpleBaseline、HRNet-W48、PoseWarperよりも急速な動き、隠蔽、合焦点外の状況を効果的に処理していた。
• 本手法は自己隠蔽および多人数の相互作用に対しても効果的に対処でき、画像ベースのモデルが時系列的文脈の欠如により失敗する状況でも優れた性能を示した。

Figure 2: Overall pipeline of our DCPose framework. The goal is to locate the keypoint positions for the current frame ${F}_{c}$ . First, an individual person $i$ is assembled into an input sequence $\mathbf{Clip}_{i}(p,c,n)$ , and a HRNet backbone predicts initial keypoint heatmaps $\mathbf{h}_{i}(