[論文レビュー] Two-hand Global 3D Pose Estimation Using Monocular RGB

Fanqing Lin, Connor Wilhelm+1 more|arXiv (Cornell University)|Jun 1, 2020

Human Pose and Action Recognition参考文献 30被引用数 4

ひとこと要約

本論文は、深度センサを用いずに絶対的な3次元ポーズを再構築するための新しい投影アルゴリズムを備えたマルチステージCNNパイプラインを用いて、1枚の単眼RGB画像から両手の3次元グローバル関節位置を推定する最初のシステムを提示する。3次元キャノニカルポーズ推定において最先端の性能を達成し、大規模な合成エゴセントリックデータセットを用いたグローバル3次元ハンドポーズ推定の新しいベンチマークを導入する。

ABSTRACT

We tackle the challenging task of estimating global 3D joint locations for both hands via only monocular RGB input images. We propose a novel multi-stage convolutional neural network based pipeline that accurately segments and locates the hands despite occlusion between two hands and complex background noise and estimates the 2D and 3D canonical joint locations without any depth information. Global joint locations with respect to the camera origin are computed using the hand pose estimations and the actual length of the key bone with a novel projection algorithm. To train the CNNs for this new task, we introduce a large-scale synthetic 3D hand pose dataset. We demonstrate that our system outperforms previous works on 3D canonical hand pose estimation benchmark datasets with RGB-only information. Additionally, we present the first work that achieves accurate global 3D hand tracking on both hands using RGB-only inputs and provide extensive quantitative and qualitative evaluation.

研究の動機と目的

• 単眼RGB入力のみを用いて、遮蔽、背景ノイズ、深度の欠如といった課題を克服し、両手の正確な3次元グローバルハンドポーズ推定を可能にすること。
• 2本の手の3次元ポーズ推定に適した大規模で現実世界のアノテーション付きデータの不足を補うために、高品質な合成エゴセントリックデータセットを構築すること。
• 2次元および3次元キャノニカルポーズから絶対的な3次元関節位置を再構築するための、新しい視点不変の投影アルゴリズムを開発すること。
• RGB入力のみを用いた3次元グローバルハンドポーズ推定のための新しい評価プロトコルとベンチマークを確立すること。

提案手法

• マルチステージCNNパイプライン：(1) ハンドセグメンテーションおよび検出、(2) 2次元ハンドポーズ推定、(3) 3次元キャノニカルポーズ推定、(4) 投影による3次元グローバルポーズ推定。
• 推定された3次元キャノニカルポーズ、2次元関節位置、既知の骨の長さを用いて絶対的な3次元関節位置を計算する新しいグローバル投影アルゴリズム。
• 静的および動的ハンドポーズを含む、エゴセントリックなRGB-D合成データセットを用いたトレーニングで、現実世界の視認条件を模擬。
• 3次元キャノニカルポーズ性能にわずかに悪影響を及えるものの、グローバルポーズ推定精度を向上させるために、新しい損失関数 $\mathcal{L}_{proj}$ を使用。
• 2次元および3次元ポーズ推定精度を向上させるために、ハンドセグメンテーションおよびバッチ正規化層を統合。
• グローバルポーズ推定のための球面座標ベースの評価で、ルート関節（mMCP）の方向および距離の精度を評価。

実験結果

リサーチクエスチョン

• RQ1 単眼RGB入力のみを用いて、深度情報やマルチビュー情報が欠如している状況でも、両手の3次元グローバルハンドポーズ推定を正確に行うことは可能か？
• RQ2 深度が利用できない状況で、2次元および3次元キャノニカルポーズから絶対的な3次元関節位置をどのように再構築できるか？
• RQ3 現実的なテクスチャおよび視点変動を備えた合成エゴセントリックデータセットは、現実世界のRGBデータへの一般化をどの程度可能にするか？
• RQ4 異なる損失関数およびネットワーク部品が、2次元、3次元キャノニカル、およびグローバル3次元ポーズ推定の精度に及ぼす影響は何か？
• RQ5 提案手法は、キャノニカルおよびグローバル3次元ポーズ推定ベンチマークにおいて、最先端の手法と比較してどの程度優れているか？

主な発見

• 本手法は、$Ego3D_{s}$-testおよび$Ego3D_{d}$-testデータセットにおいて、グローバル3次元ポーズ推定で3°の角度閾値および7 cmの半径閾値で球面PCKが約0.90を達成した。
• 本手法は、追加の深度情報やマルチビュー情報を利用しているにもかかわらず、単眼RGB入力のみに依存しているにもかかわらず、最先端の単一ハンド3次元キャノニカルポーズ推定手法を上回った。
• $\mathcal{L}_{proj}$損失の使用により、キャノニカルポーズAUCおよびEPEにわずかな低下が生じたものの、グローバルポーズ推定精度が向上し、球面PCKが向上した。
• STBデータセットでは、ルート関節の真値が入手不可であったにもかかわらず、3°および7 cmの閾値で球面PCKが0.90を達成し、現実世界データへの一般化を示した。
• RHPデータセットでは、方位角（$\theta$）のAUCが0.960、仰角（$\phi$）が0.958、半径が0.690であったため、方向性の精度は優れていたが、深度推定の面では改善の余地があった。
• アブレーションスタディにより、ハンドセグメンテーションおよびバッチ正規化が2次元および3次元ポーズ推定性能を顕著に向上させ、$\mathcal{L}_{bone}$により平均骨長さ誤差を3.7mmから1.8mmに削減したことが確認された。