[論文レビュー] Hand3D: Hand Pose Estimation using 3D Neural Network

Xiaoming Deng, Shuo Yang+4 more|arXiv (Cornell University)|Apr 7, 2017

Hand Gesture Recognition Systems参考文献 20被引用数 67

ひとこと要約

本論文は、深度画像の TSDF ボリューム表現から直接3D手指関節位置を推定する3D CNNを提案し、合成データ拡張とTSDF refinementモジュールを組み合わせて、NYUおよびICVLの手指姿勢データセットで最先端の結果を達成する。

ABSTRACT

We propose a novel 3D neural network architecture for 3D hand pose estimation from a single depth image. Different from previous works that mostly run on 2D depth image domain and require intermediate or post process to bring in the supervision from 3D space, we convert the depth map to a 3D volumetric representation, and feed it into a 3D convolutional neural network(CNN) to directly produce the pose in 3D requiring no further process. Our system does not require the ground truth reference point for initialization, and our network architecture naturally integrates both local feature and global context in 3D space. To increase the coverage of the hand pose space of the training data, we render synthetic depth image by transferring hand pose from existing real image datasets. We evaluation our algorithm on two public benchmarks and achieve the state-of-the-art performance. The synthetic hand pose dataset will be available.

研究の動機と目的

• ポスト処理や事前定義されたモデルを用いず、単一の深度画像から直接的な3D手指姿勢推定を動機づける。
• 3D体積表現（TSDF）と3D CNNを提案し、COM座標系での3D関節位置を予測する。
• TSDF refinementと可変骨長を用いた合成データ拡張によって訓練データの多様性と深度品質を向上させる。
• NYUおよびICVLの手姿勢ベンチマークで最先端の性能を示す。

提案手法

• 深度マップを手のCOMに合わせて60x60x60のTSDF体積へ変換する。
• 欠落した深度を補完し、アーティファクトを低減させる3D FCNで生のTSDFを補正する。
• 3D ConvNetを用いて、COMを基準とした3D関節位置をL2損失で直接回帰する。
• 可変骨長を含む合成ポーズを含む拡張データでエンドツーエンドにネットワークを訓練する。
• 手のポーズを設定可能なCADモデルへ転写し、深度画像をレンダリングすることでデータ拡張を行う。
• 実データから逆運動学でポーズを回復し、合成データ生成のためBVHへ転送することも可能。

実験結果

リサーチクエスチョン

• RQ1 TSDF体積上で動作する3D CNNは、ポスト処理なしでCOM座標系の3D手指関節位置を直接推定できるか。
• RQ2 TSDF refinementと3Dデータ拡張は標準ベンチマークで3D手姿勢の精度を向上させるか。
• RQ3 手のスケルトンや骨長が異なる場合、方法はどの程度一般化できるか。
• RQ4 提案された合成データ拡張と骨長変化が姿勢推定の性能に与える影響はどの程度か。

主な発見

• 本手法はNYUおよびICVLの手姿勢データセットで最先端の性能を達成する。
• COM座標系での直接的な3D姿勢推定は、2D推定を3Dに投影するためのポスト処理を不要にする。
• TSDF refinementは姿勢推定精度を向上させ、特に低い誤差閾値で顕著である。
• 可変骨長を用いたデータ拡張と合成ポーズ転送は性能を大幅に向上させる。
• このアプローチはGTX TITAN Xで約30FPSで動作し、いくつかのモデルベース手法よりも速く、同時に精度も高い。