[論文レビュー] V2V-PoseNet: Voxel-to-Voxel Prediction Network for Accurate 3D Hand and Human Pose Estimation from a Single Depth Map

Gyeongsik Moon, Ju Yong Chang+1 more|arXiv (Cornell University)|Nov 20, 2017

Human Pose and Action Recognition参考文献 49被引用数 35

ひとこと要約

V2V-PoseNet は、3Dボクセル入力と各ボクセルごとの尤度予測を用いて、1枚の深度マップから正確な3Dハンドおよび人体ポーズ推定を実現する3Dボクセル対ボクセル予測ネットワークを提案する。視覚的歪みと非線形回帰の問題を克服し、SOTAの性能を複数のベンチマークで達成。HANDS 2017 チャレンジで1位を獲得し、単一GPUで35 fpsのリアルタイム推論を実現。

ABSTRACT

Most of the existing deep learning-based methods for 3D hand and human pose estimation from a single depth map are based on a common framework that takes a 2D depth map and directly regresses the 3D coordinates of keypoints, such as hand or human body joints, via 2D convolutional neural networks (CNNs). The first weakness of this approach is the presence of perspective distortion in the 2D depth map. While the depth map is intrinsically 3D data, many previous methods treat depth maps as 2D images that can distort the shape of the actual object through projection from 3D to 2D space. This compels the network to perform perspective distortion-invariant estimation. The second weakness of the conventional approach is that directly regressing 3D coordinates from a 2D image is a highly non-linear mapping, which causes difficulty in the learning procedure. To overcome these weaknesses, we firstly cast the 3D hand and human pose estimation problem from a single depth map into a voxel-to-voxel prediction that uses a 3D voxelized grid and estimates the per-voxel likelihood for each keypoint. We design our model as a 3D CNN that provides accurate estimates while running in real-time. Our system outperforms previous methods in almost all publicly available 3D hand and human pose estimation datasets and placed first in the HANDS 2017 frame-based 3D hand pose estimation challenge. The code is available in https://github.com/mks0601/V2V-PoseNet_RELEASE.

研究の動機と目的

• 2D深度マップにおける視覚的歪みが2D CNN処理中に3Dオブジェクト形状を歪めることを是正する。
• 2D深度画像と3Dジョイント座標の間の高次非線形マッピングが正確な学習を妨げることを克服する。
• 3Dボリューム表現を用いて、ボクセル対ボクセル予測に問題を再定式化することで、3Dポーズ推定の精度を向上させる。
• 多様な3Dハンドおよび人体ポーズ推定データセットで高い精度を維持しつつ、リアルタイム推論を実現する。

提案手法

• 2D深度マップを3Dボクセルグリッドに変換することで、空間的整合性を保持し、視覚的歪みを排除する。
• 3D畳み込みニューラルネットワーク（3D CNN）を用いて、各キーポイントの各ボクセルごとの尤度マップを予測する。座標の直接回帰ではなく、尤度マップを予測する。
• 階層的特徴を捉え、スケールをまたいで予測を精緻化するため、マルチスケール3D U-Netアーキテクチャを採用する。
• キーポイントの位置はピーク検出により3D尤度ヒートマップから抽出され、正確な局所化が保証される。
• 入力前処理には基準点の最適化とボクセライゼーションが含まれ、後者は最も計算コストの高いステップである。
• 推論速度はモデルアンサンブルとマルチGPUデプロイメントにより高速化され、単一GPUで最大35 fpsを達成。

実験結果

リサーチクエスチョン

• RQ1 2D深度マップ入力を3Dボクセル表現に置き換えることで、視覚的歪みを低減し、3Dポーズ推定の精度を向上させることができるか？
• RQ2 3D座標の直接回帰ではなく、各ボクセルごとの尤度を予測することで、より安定的で正確な学習が可能になるか？
• RQ3 ボクセル対ボクセル予測フレームワークは、従来の2Dから3Dへの回帰手法と比較して、多様なデータセットにおいて性能と頑健性に優れているか？
• RQ4 提案手法は、3Dハンドおよび3D人体ポーズ推定の両タスクに一般化可能であり、一貫した性能向上を示すか？

主な発見

• V2V-PoseNet は、ICVL、NYU、MSRA の3つの公的3Dハンドポーズ推定データセットでSOTA性能を達成。それぞれ平均誤差は12.8mm、18.7mm、28.7mmであった。
• 挑戦的とされるNYUデータセットでは、従来手法との性能差が最大であり、遮蔽や低品質な深度データに対しても優れた頑健性を示した。
• HANDS 2017 フレームベース3Dハンドポーズ推定チャレンジで1位を獲得し、他の参加者を上回った。
• ITOP 3D人体ポーズ推定データセットでは、前方視点で75.5%、上方面で83.4%の精度を達成。これまではすべての手法を上回った。
• アンサンブル推論では3.5 fps、マルチGPUモードでは最大35 fpsで実行可能であり、リアルタイム応用が可能であることを示した。
• アブレーションスタディにより、3Dボクセル入力と各ボクセルごとの尤度出力の組み合わせが最良の性能をもたらすことが確認され、設計選択の妥当性が裏付けられた。