[論文レビュー] DeepHPS: End-to-end Estimation of 3D Hand Pose and Shape by Learning from Synthetic Depth

Jameel Malik, Ahmed Elhayek+5 more|arXiv (Cornell University)|Aug 28, 2018

Human Pose and Action Recognition参考文献 47被引用数 5

ひとこと要約

本論文では、1枚の深度画像から3次元手のポーズと形状を同時に推定するエンドツーエンドのディーブラーニングフレームワークであるDeepHPSを提案する。この手法は、CNNに埋め込まれた新規の手のポーズと形状層（HPSL）を用いる。本手法は、500万枚の画像を含む大規模な合成データセットSynHand5Mを活用し、NYUおよびICVLベンチマークで最先端の性能を達成した。微調整後、それぞれ14.2mmおよび9.1mmの3次元関節位置誤差を達成した。

ABSTRACT

Articulated hand pose and shape estimation is an important problem for vision-based applications such as augmented reality and animation. In contrast to the existing methods which optimize only for joint positions, we propose a fully supervised deep network which learns to jointly estimate a full 3D hand mesh representation and pose from a single depth image. To this end, a CNN architecture is employed to estimate parametric representations i.e. hand pose, bone scales and complex shape parameters. Then, a novel hand pose and shape layer, embedded inside our deep framework, produces 3D joint positions and hand mesh. Lack of sufficient training data with varying hand shapes limits the generalized performance of learning based methods. Also, manually annotating real data is suboptimal. Therefore, we present SynHand5M: a million-scale synthetic dataset with accurate joint annotations, segmentation masks and mesh files of depth maps. Among model based learning (hybrid) methods, we show improved results on our dataset and two of the public benchmarks i.e. NYU and ICVL. Also, by employing a joint training strategy with real and synthetic data, we recover 3D hand mesh and pose from real images in 3.7ms.

研究の動機と目的

• 多様な手の形状、視点、遮蔽状況において3次元手のポーズと形状推定の一般化を図ること。
• 形状の変動が少なく、大規模にアノテートするのに高コストな実世界データセットの限界を克服すること。
• 3次元関節位置、手メッシュ、形状パラメータを同時に最適化する統合型のディープラーニングフレームワークの開発。
• キネマティックおよび幾何的制約をエンドツーエンドで学習可能なネットワークに統合することで、ハイブリッドモデルベースおよび判別的手法の性能を向上させること。
• 欠損した深度や遮蔽状況下でも、実深度画像に対して頑健な推論を可能にすること。

提案手法

• ポーズとボーンスケールパラメータを用いて前向きキネマティクスを実行する新規の微分可能な手のポーズと形状レイヤー（HPSL）を提案する。
• 形状パラメータとモーフターゲットを備えたモーファブルハンドモデルを統合し、3次元手メッシュを再構築する。
• 推定された関節位置と形状パラメータに基づいて、線形ブレンドスキンニングを適用して3次元手表面をアニメートする。
• 1枚の深度画像から手のポーズ、ボーンスケール、形状パラメータを回帰するCNNを用いて、ネットワーク全体をエンドツーエンドで訓練する。
• 関節、メッシュ、セグメンテーションの真値が正確に付与された500万枚の深度画像を含むSynHand5Mの合成データセットを、教師あり学習に活用する。
• 実データセット（NYU、ICVL）上で事前学習済みモデルを微調整し、実データへの一般化を向上させるための共同訓練戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのディープラーニングフレームワークは、多様な手の形状にわたって、1枚の深度画像から高精度かつ一般化性の高い3次元手のポーズと形状を同時に推定できるか？
• RQ2 大規模な形状および視点の変動を有する合成データセットは、3次元手推定モデルの一般化性能を向上させるのにどの程度効果的か？
• RQ3 キネマティックおよび幾何的制約を強制する微分可能なハンドモデルレイヤー（HPSL）を埋め込むことで、従来の回帰ベース手法に比べて性能がどの程度向上するか？
• RQ4 合成データで事前学習したモデルは、特に遮蔽や欠損深度がある状況下でも、実世界の深度画像に効果的に一般化できるか？
• RQ5 エンドツーエンド学習によるポーズ、形状、メッシュ再構築の共同最適化は、従来のハイブリッドまたは判別的アプローチを上回る性能を発揮するか？

主な発見

• 微調整後のDeepHPSモデルは、NYUデータセットで14.2mmの3次元関節位置誤差を達成し、最先端のハイブリッド手法を上回った。
• ICVLベンチマークでは、微調整済みのDeepHPSモデルが9.1mmの3次元関節位置誤差を達成し、ベースライン比で10.12%の改善を示した。
• モデルは実深度画像への一般化が良好であり、欠損した深度や遮られた指が存在する状況でも、妥当な3次元手メッシュを生成した。
• SynHand5Mデータセットのおかげで顕著な性能向上が達成され、合成ベンチマークでは6.3mmの3次元関節誤差と11.8mmの頂点誤差を達成した。
• HPSLレイヤーは物理的およびキネマティック制約を効果的に強制し、より現実的で一貫性のある3次元手メッシュ予測を実現した。
• 実データと合成データの共同学習により、耐障害性と精度が向上し、ドメインギャップを低減する合成データの有効性が示された。