[論文レビュー] Single-Network Whole-Body Pose Estimation

Gines Hidalgo, Yaadhav Raaj+5 more|arXiv (Cornell University)|Sep 30, 2019

Human Pose and Action Recognition参考文献 72被引用数 13

ひとこと要約

本稿では、2次元全身ポーズ推定のための最初のシングルネットワーク・シングルステージアプローチを提示する。マルチタスク学習を用い、ボディ、顔、手、足のキーポイントを同時に検出するための新規アーキテクチャを採用しており、ボディ／足のキーポイント検出と顔／手のキーポイント検出におけるスケール差を処理できる。リアルタイムの推論が可能であり、人物数に依存しない。OpenPoseに比べて速度（n人に対して最大n倍速）と精度が向上し、特に遮蔽、ぼやけ、低解像度の顔や手に対しても優れている。トレーニングは1段階で実行され、時間も短縮される。

ABSTRACT

We present the first single-network approach for 2D~whole-body pose estimation, which entails simultaneous localization of body, face, hands, and feet keypoints. Due to the bottom-up formulation, our method maintains constant real-time performance regardless of the number of people in the image. The network is trained in a single stage using multi-task learning, through an improved architecture which can handle scale differences between body/foot and face/hand keypoints. Our approach considerably improves upon OpenPose~\cite{cao2018openpose}, the only work so far capable of whole-body pose estimation, both in terms of speed and global accuracy. Unlike OpenPose, our method does not need to run an additional network for each hand and face candidate, making it substantially faster for multi-person scenarios. This work directly results in a reduction of computational complexity for applications that require 2D whole-body information (e.g., VR/AR, re-targeting). In addition, it yields higher accuracy, especially for occluded, blurry, and low resolution faces and hands. For code, trained models, and validation benchmarks, visit our project page: https://github.com/CMU-Perceptual-Computing-Lab/openpose_train.

研究の動機と目的

• 複数人シーンにおけるボディ、顔、手、足の2次元全身キーポイント推定を同時に実行できる統合的でリアルタイムな手法の不足を補う。
• 1つのモデル内で、大きな受容 field を必要とするボディ／足キーポイント検出と、高解像度を必要とする顔／手キーポイント検出の間のスケール差を解消する。
• OpenPoseのようなマルチステージアプローチが、人物ごとに別々のネットワークを実行するための計算ボトルネックを回避する。
• キーポイントタイプ間での共有特徴学習を活用することで、遮蔽、ぼやけ、低解像度といった困難な状況への一般化性能を向上させる。
• すべてのキーポイントタスクを1段階で同時にトレーニングすることで、各タスクごとの独立したネットワークトレーニングを回避し、トレーニング時間と複雑さを削減する。

提案手法

• ボディ、顔、手、足キーポイントのヒートマップを同時に回帰するマルチタスク学習（MTL）によりトレーニングされた統合的シングルネットワークアーキテクチャを提案する。
• ボディ／足検出のための大規模な受容 field と、顔／手キーポイントの局所化のための高解像度表現の両立を図る、マルチスケール特徴統合を備えた新規バックボーンを設計する。
• すべてのキーポイント検出ヘッドを同時にエンドツーエンド最適化する1段階トレーニングパイプラインを採用し、マルチネットワークアプローチに比べて約半分のトレーニング時間に短縮する。
• データオーグメンテーションとカリキュラム学習を適用し、特に低解像度および遮蔽された顔や手の一般化性能を向上させる。
• ボトムアップ定式化（まずボディキーポイントを検出、その後顔／手ヘッドで精緻化）を活用することで、人物数にかかわらず推論時間を一定に保つ。
• タスク固有のヘッドを持つ共有特徴抽出器を採用し、各ヘッドがその特定のスケールおよび空間解像度要件に最適化されるようにする。

実験結果

リサーチクエスチョン

• RQ1 1つのディープニューラルネットワークが、1回の順伝播で効果的かつ効率的に2次元全身キーポイント配置（ボディ、顔、手、足）を推定できるか？
• RQ2 統合アーキテクチャ内で、ボディ／足と顔／手のキーポイント検出の間のスケール差を、正確さや速度を損なわずどのように処理できるか？
• RQ3 多様なキーポイントタイプにわたる共同マルチタスク学習は、遮蔽、ぼやけ、低解像度といった困難な野生環境下での一般化性能を向上させるか？
• RQ4 OpenPoseのようなマルチステージ・マルチネットワークベースラインと比較して、シングルネットワークアプローチは計算複雑性と推論時間をどの程度低減できるか？
• RQ5 多様で大規模なデータセットでトレーニングされた統合モデルは、顔および手検出に特化したネットワークを上回る性能を示せるか？

主な発見

• 提案されたシングルネットワークモデルは、人物数にかかわらず一定のリアルタイム推論が可能であり、OpenPoseとは異なり人物数に比例して遅延が増加しない。
• 10人の人物が含まれる画像では、本手法はOpenPoseに比べて約7倍速く、人物数が変動しても推論時間が安定している。
• 深層全身モデルはHand MPIIデータセットで97.8％の平均リ call（AR）を達成し、以前のOpenPose単一スケールモデルより5.5％高い。
• 低解像度、ぼやけ、遮蔽された顔や手に対して、特に困難な野生環境画像における定性的比較で、より優れた一般化性能を示している。
• 1段階で共同トレーニングすることで、顔および手検出器の別々のトレーニングが不要となり、トレーニング時間が約半分に短縮された。
• 改善は見られるが、極端な遮蔽、運動ぼやけ、非常に小さく遠く離れた人物の処理には依然として困難を抱えており、単純で遮蔽のないポーズではOpenPoseに比べてやや性能が劣ることもある。