[論文レビュー] Holistic Planimetric prediction to Local Volumetric prediction for 3D Human Pose Estimation

Gyeongsik Moon, Ju Yong Chang+2 more|arXiv (Cornell University)|Jun 15, 2017

Human Pose and Action Recognition参考文献 31被引用数 15

ひとこと要約

本稿では、1枚の深度マップから3次元人体ポーズ推定を行う2段階手法を提案する。2次元平面的予測（ホリスティック2D）の後に、3次元畳み込みニューラルネットワーク（3D CNN）を用いた局所的3次元ボリュメトリック予測を実行することで、計算コストを抑えながら精度を向上させる。本手法は、3次元占有グリッド上の各ボクセルの尤度推定を用いることで、公開データセット上で最先端手法を大きく上回る性能を達成した。

ABSTRACT

We propose a novel approach to 3D human pose estimation from a single depth map. Recently, convolutional neural network (CNN) has become a powerful paradigm in computer vision. Many of computer vision tasks have benefited from CNNs, however, the conventional approach to directly regress 3D body joint locations from an image does not yield a noticeably improved performance. In contrast, we formulate the problem as estimating per-voxel likelihood of key body joints from a 3D occupancy grid. We argue that learning a mapping from volumetric input to volumetric output with 3D convolution consistently improves the accuracy when compared to learning a regression from depth map to 3D joint coordinates. We propose a two-stage approach to reduce the computational overhead caused by volumetric representation and 3D convolution: Holistic 2D prediction and Local 3D prediction. In the first stage, Planimetric Network (P-Net) estimates per-pixel likelihood for each body joint in the holistic 2D space. In the second stage, Volumetric Network (V-Net) estimates the per-voxel likelihood of each body joints in the local 3D space around the 2D estimations of the first stage, effectively reducing the computational cost. Our model outperforms existing methods by a large margin in publicly available datasets.

研究の動機と目的

• 非線形な特徴量から座標へのマッピングの非線形性に起因する、直接的な2次元から3次元座標回帰の性能の低さを是正する。
• 3次元畳み込みとボリュメトリック表現による3次元ポーズ推定における高い計算コストを克服する。
• 3次元占有グリッド上での各ボクセルの身体関節の尤度をモデル化することで、局所化の精度を向上させる。
• グローバルな2次元推定段階と局所的な3次元精製段階にタスクを分離することで、計算コストを低減する。
• 拡張性と効率性に優れたアーキテクチャを用いて、1枚の深度マップから正確な3次元ポーズ推定を実現する。

提案手法

• 入力の深度マップを3次元占有グリッドとして表現し、各ボクセルの尤度推定に向けた3次元畳み込み処理を可能にする。
• 各身体関節の2次元平面空間におけるピxls単位の尤度マップを予測するため、2次元畳み込みニューラルネットワーク（P-Net）を用いる。
• P-Netの2次元関節予測を中心として、局所的な3次元ビュー（占有グリッド）を生成し、3次元探索空間を縮小する。
• 局所的な3次元領域における各ボクセルの尤度を推定することで予測を精製するため、3次元畳み込みニューラルネットワーク（V-Net）を適用する。
• 各関節の各ボクセルの尤度に監督信号を用いてモデルを学習させ、座標回帰よりも豊かな監督を可能にする。
• P-Netの出力を活用してV-Netの入力を制約することで、3次元推論の計算コストを顕著に低減する。

実験結果

リサーチクエスチョン

• RQ1 3次元占有グリッド上での各ボクセルの尤度推定は、直接的な2次元から3次元座標回帰と比較して、3次元人体ポーズ推定の精度を向上させるか？
• RQ2 グローバルな2次元予測の後に局所的な3次元精製を行う2段階的アプローチは、計算コストを効果的に低減しつつ、精度を維持または向上させるか？
• RQ3 P-Netによる初期2次元推定の品質が、特に肘や手の関節のように遮蔽されている場合の最終的な3次元ポーズ精度にどのように影響するか？
• RQ4 局所的な3次元精製段階でグローバルな文脈が欠如している場合、困難な関節における性能にどの程度制限が及ぶか？
• RQ5 反復的精製なしで、本手法は標準ベンチマークにおいて既存の最先端手法を上回る性能を発揮できるか？

主な発見

• 本手法は、ITOPおよびEVALデータセットの両方において、既存の最先端手法を大きく上回る性能を達成した。
• 10 cmルールの下で、ITOPデータセットではmAPが87.5%、EVALデータセットでは89.1%を達成した。
• 反復的精製なしでも、1フレームあたり0.28秒の処理速度を達成しており、Haqueら[10]の1.7秒/フレームを著しく上回った。
• V-Netを真値の2次元関節位置を用いて学習・評価した場合、EVALおよびITOPデータセットでそれぞれ肘と手の関節で14.7点および9.9点の性能向上が見られた。これは、P-Netの2次元推定が主なボトルネックであることを示している。
• より大きな局所パッチ（最大40×40×40）は性能をわずかに向上させるが、32×32×32を超えると受容 field の限界およびGPUメモリ制限により、向上が頭打ちになる。
• ITOPデータセットにおける定性的な結果から、特に遮蔽のない領域では身体関節の正確な局所化が達成されており、肘や手の関節では顕著な課題が見られた。