[論文レビュー] Dense 3D Regression for Hand Pose Estimation

Chengde Wan, Thomas Probst+2 more|arXiv (Cornell University)|Nov 24, 2017

Human Pose and Action Recognition参考文献 38被引用数 3

ひとこと要約

本稿では、2D/3D関節ヒートマップおよび単位3D方向ベクトル場をマルチタスク畳み込みニューラルネットワーク（CNN）キャスケードを用いてモデル化することで、1枚の深度フレームにおける高密度3D回帰手法を提案する。この手法は、2Dおよび3D予測の整合性を保証しながら、ピクセル単位の投票を集約する平均シフトの変種を用いる。MSRA、NYU、ICVLデータセットにおいて、それぞれ平均誤差7.2mm、10.2mm、7.3mmを達成し、最先端の精度を実現した。

ABSTRACT

We present a simple and effective method for 3D hand pose estimation from a single depth frame. As opposed to previous state-of-the-art methods based on holistic 3D regression, our method works on dense pixel-wise estimation. This is achieved by careful design choices in pose parameterization, which leverages both 2D and 3D properties of depth map. Specifically, we decompose the pose parameters into a set of per-pixel estimations, i.e., 2D heat maps, 3D heat maps and unit 3D directional vector fields. The 2D/3D joint heat maps and 3D joint offsets are estimated via multi-task network cascades, which is trained end-to-end. The pixel-wise estimations can be directly translated into a vote casting scheme. A variant of mean shift is then used to aggregate local votes while enforcing consensus between the the estimated 3D pose and the pixel-wise 2D and 3D estimations by design. Our method is efficient and highly accurate. On MSRA and NYU hand dataset, our method outperforms all previous state-of-the-art approaches by a large margin. On the ICVL hand dataset, our method achieves similar accuracy compared to the currently proposed nearly saturated result and outperforms various other proposed methods. Code is available $\href{"https://github.com/melonwan/denseReg"}{ ext{online}}$.

研究の動機と目的

• 1枚の深度フレームにおけるハンドポーズ推定において、包括的3D回帰と2D検出の限界を解消すること。
• 深度マップの2Dおよび3D幾何的性質を組み合わせることで、ハンドポーズの変化、並進変動、自己遮蔽に対する耐性を向上させること。
• 統一的で高密度のピクセル単位推定フレームワークを通じて、関節検出と3D回帰のエンドツーエンド学習を可能にすること。
• 離散的ボリューム表現への依存を低減し、3D CNNの計算負荷と曖昧さを回避すること。

提案手法

• 絶対座標ではなく、ピクセルごとの3Dオフセットに3D関節位置を再パrameter化することで、並進不変性を確保する。
• 各ピクセルに対して2D関節ヒートマップ、3D関節ヒートマップ（3D距離に基づく）、および単位3D方向ベクトル場を予測する。
• 3つの成分を同時に回帰可能なマルチタスクでエンドツーエンド学習可能なCNNキャスケードを用いる。
• ヒートマップおよびベクトル場からの局所的投票を集約するために、非パラメトリックな平均シフトの変種を適用し、2Dおよび3D予測の整合性を強制する。
• 投票投げのスキームを用いて2D検出と3D回帰を統合し、最終的なポーズ推定における幾何的整合性を保証する。
• 深度マップの2.5次元性を活かし、局所パターン学習に2D CNNを、最終的なポーズ回帰に3D幾何的推論を組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 包括的回帰と比較して、2Dおよび3D関節特性の高密度ピクセル単位推定は、3Dハンドポーズ推定の精度を向上させ得るか？
• RQ2 3D CNNを用いずに、深度マップからの2Dおよび3D幾何的事前知識を深層学習フレームワークで効果的に統合できるか？
• RQ3 ヒートマップおよび方向性フィールドに基づく投票投げ集約スキームは、自己遮蔽およびポーズ変動に対する耐性を向上させ得るか？
• RQ4 単位ベクトルフィールドを用いたオフセットベースの回帰は、多様なハンドジェスチャーにわたる訓練の安定性と一般化性能を向上させ得るか？
• RQ5 一貫性のある投票メカニズムを介して2D検出と3D回帰を統合することは、段階的または共有特徴アプローチを上回る性能を発揮するか？

主な発見

• MSRAデータセットでは、提案手法が平均3D誤差7.2mmを達成し、すべての先行最先端手法を上回った。
• NYUデータセットでは、10.2mmの平均3D誤差を達成し、以前の最先端結果を顕著に上回った。
• ICVLデータセットでは、7.3mmの平均3D誤差を達成し、Chenら[5]のほぼ飽和した性能に並んだ一方で、他の手法を上回った。
• MSRAの81％以上のフレームで関節誤差が20mm未満であり、以前の最先端手法の60％と比較して顕著な改善を示した。
• 困難なポーズにおいても高い成功率を示し、MSRAでは91％のフレームが30mm未塔の誤差に収束した（前回最良手法は81％）。
• 定性的な結果から、多様なハンドジェスチャーおよび自己遮蔽状況において一貫した性能を示し、極端な状況を除きわずかな失敗しか観測されなかった。