[論文レビュー] Cascaded Pyramid Network for 3D Human Pose Estimation Challenge

Sungeun Hong, Wonjin Jung+2 more|arXiv (Cornell University)|Oct 3, 2018

Human Pose and Action Recognition参考文献 7被引用数 3

ひとこと要約

本論文は、2次元キーポints検出のための段階的ピラミッドネットワーク（CPN）と、残差ブロックに基づく2次元から3次元へのリフトネットワークを用いた2段階の3次元人体ポーズ推定フレームワークを提案する。この手法は、ECCV 2018 PoseTrack検証セットで42.39の平均関節位置誤差（MPJPE）を達成し、遮られやすい関節の処理を改善することで、挑戦的な単眼3次元ポーズ推定において優れた性能を示している。

ABSTRACT

Over the past decade, there has been a growing interest in human pose estimation. Although much work has been done on 2D pose estimation, 3D pose estimation has still been relatively studied less. In this paper, we propose a top-bottom based two-stage 3D estimation framework. GloabalNet and RefineNet in our 2D pose estimation process enable us to find occluded or invisible 2D joints while 2D-to-3D pose estimator composed of residual blocks is used to lift 2D joints to 3D joints effectively. The proposed method achieves promising results with mean per joint position error at 42.39 on the validation dataset on `3D Human Pose Estimation within the ECCV 2018 PoseTrack Challenge.'

研究の動機と目的

• 単眼RGB画像からの3次元人体ポーズ推定の課題、特に遮られたり見えなくなったりした2次元関節の処理を解決すること。
• まず2次元ポーズを推定し、その後それを3次元にリフトする2段階パイプラインを用いて、3次元ポーズ推定の精度を向上させること。
• トレーニングデータ（Human3.6M）とテストデータ（PoseTrack）間のスケール変動に強い対処を、クロップ＆リサイズ（CR）モジュールを用いて実現すること。
• バッチ正規化と最大ノルム制約を用いた残差ブロックを用いた2次元から3次元へのリフトネットワークの最適化により、安定した学習と一般化性能の向上を図ること。
• ECCV 2018 PoseTrack 3次元人体ポーズ推定チャレンジで最先端の性能を達成すること。

提案手法

• 空間的および意味的情報を保持するため、特徴ピラミッドネットワークと中間監視を用いたGlobalNetとRefineNetを組み合わせたトップダウンCPNアーキテクチャを採用し、2次元キーポイントを検出する。
• 多段階特徴を統合することで、遮られたり見えなくなったりした関節の推定を向上させるために、オンラインハードキーポイントマイニング損失を用いたRefineNetを適用する。
• Human3.6Mとチャレンジデータセットの間のスケール差を補正するため、CPN推論の前後にクロップ＆リサイズ（CR）モジュールと逆クロップ＆リサイズ（ICR）モジュールを導入する。
• バッチ正規化と最大ノルム重み制約を用いた残差ブロックを用いて、2次元から3次元へのポーズ推定器を学習し、安定した訓練と一般化性能の向上を図る。
• モデル収束を改善するために、股関節を基準として2次元および3次元ポーズをゼロセンター化し、標準化を適用する。
• 2次元から3次元へのリフトを、バッチ内のサンプル全体に対して平均二乗誤差損失の最小化として定式化し、式（1）を目的関数として用いる。

実験結果

リサーチクエスチョン

• RQ1 2段階の3次元ポーズ推定パイプラインは、実世界の動画シーケンスにおいて、1段階手法よりも精度と頑健性に優れているか？
• RQ2 GlobalNetとRefineNetを備えた段階的ピラミッドネットワーク（CPN）は、遮られたり見えなくなったりした2次元キーポイントの検出にどの程度効果的か？
• RQ3 Human3.6Mで学習された2次元ポーズモデルを、スケールが異なるPoseTrackデータセットに適用する際、クロップ＆リサイズ（CR）モジュールがどの程度性能向上に寄与するか？
• RQ4 2次元から3次元へのリフトネットワークの最適なアーキテクチャと正則化戦略（例：バッチ正規化、最大ノルム）は何か？
• RQ5 残差ブロック、正規化、重み制約の組み合わせが、最終的な3次元ポーズ推定誤差にどのように影響を与えるか？

主な発見

• 提案手法は、ECCV 2018 PoseTrack 3次元人体ポーズ推定チャレンジの検証セットで、平均関節位置誤差（MPJPE）42.39を達成した。
• アブレーションスタディの結果、バッチ正規化と最大ノルム制約の両方を用いることでMPJPEが43.72に低下し、これらのコンponentsを含まない設定よりも顕著に優れた性能を示した。
• CRモジュールの導入により、ベースライン（CRなし）と比較して性能が17.5%向上し、完全な正則化を組み合わせた場合、MPJPEは61.71から45.41に低下した。
• 1つの残差ブロック（1024次元）でも十分な性能が得られたため、2次元から3次元へのリフトヘッドに深層アーキテクチャは必要ないことが示された。
• 質的評価では、複雑なポーズにおいても3次元予測が真値に近いことが確認され、本モデルが困難なケースに対しても優れた一般化性能を示していることが分かった。
• オンラインハードキーポイントマイニング損失を用いたRefineNetの導入により、見えないか遮られやすい関節の検出が顕著に向上し、全体の精度向上に寄与した。