[論文レビュー] Simultaneous Hand Pose and Skeleton Bone-Lengths Estimation from a Single Depth Image

Jameel Malik, Ahmed Elhayek+1 more|arXiv (Cornell University)|Dec 8, 2017

Hand Gesture Recognition Systems参考文献 31被引用数 7

ひとこと要約

本論文は、畳み込みニューラルネットワーク（CNN）に学習可能なスケールパラメータを備え、微分可能フォワードキネマティクス層を組み合わせた、単一の深度画像から3次元手のポーズと手の骨格の骨長を同時に推定する新規なハイブリッドディープラーニング手法を提案する。本手法は、一貫性のある大規模で多様性に富んだデータセット（HandSet）を用いたエンドツーエンドの訓練により、固定された手の幾何構造を仮定する従来手法に比べ、ICVLおよび統合データセットで最先端の精度を達成した。

ABSTRACT

Articulated hand pose estimation is a challenging task for human-computer interaction. The state-of-the-art hand pose estimation algorithms work only with one or a few subjects for which they have been calibrated or trained. Particularly, the hybrid methods based on learning followed by model fitting or model based deep learning do not explicitly consider varying hand shapes and sizes. In this work, we introduce a novel hybrid algorithm for estimating the 3D hand pose as well as bone-lengths of the hand skeleton at the same time, from a single depth image. The proposed CNN architecture learns hand pose parameters and scale parameters associated with the bone-lengths simultaneously. Subsequently, a new hybrid forward kinematics layer employs both parameters to estimate 3D joint positions of the hand. For end-to-end training, we combine three public datasets NYU, ICVL and MSRA-2015 in one unified format to achieve large variation in hand shapes and sizes. Among hybrid methods, our method shows improved accuracy over the state-of-the-art on the combined dataset and the ICVL dataset that contain multiple subjects. Also, our algorithm is demonstrated to work well with unseen images.

研究の動機と目的

• 既存のハイブリッド手のポーズ推定手法が固定された手の幾何構造を仮定しており、多様な手の形状やサイズに一般化できないという制限に対処すること。
• 単一の深度画像から3次元手のポーズと骨長を同時に推定する統合的ディープラーニングフレームワークの開発。
• NYU、ICVL、MSRA-2015データセットを統一フォーマットで統合して、多様性に富んだ大規模な手のポーズデータセット（HandSet）を構築すること。
• 学習可能なパラメータを用いて手のスケール変動を明示的にモデル化することで、エンドツーエンドの訓練を可能にし、未観測の被験者に対してもロバスト性を向上させること。

提案手法

• 手の骨格の各骨に対して関連するスケールパラメータを予測するように設計されたCNNアーキテクチャを提案。
• 推定されたポーズとスケールパラメータを統合する新規な微分可能フォワードキネマティクス層を導入し、3次元関節位置を計算することで、キネマティックチェーン全体に逆誤差伝搬が可能になる。
• 3つのバリエーションを実装：GlobalScale（1つのグローバルスケール）、MultiScale（各骨ごとの個別スケール）、5Scales（主な手の部位に5つの学習可能なスケールパラメータ）。
• NYU、ICVL、MSRA-2015を一貫した前処理とアノテーションで統合した統一データセット（HandSet）を用いて、エンドツーエンドで訓練。
• フォワードキネマティクス層により、推論時に骨格制約を強制することで物理的に妥当な構造を保証。
• 関節位置のL2損失と、手の幾何構造を尊重する微分可能なキネマティック関数の組み合わせを用いてモデルを訓練。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデルは、多様な手の形状やサイズに一般化できるように、単一の深度画像から3次元手のポーズと骨長を同時に推定できるか？
• RQ2 エンドツーエンドの訓練中に手のスケールパラメータを明示的に学習させることで、固定幾何構造モデルと比較して性能がどのように向上するか？
• RQ3 複数の実世界データセットを統一フォーマット（HandSet）に統合することで、モデルのロバスト性と一般化性能がどの程度向上するか？
• RQ4 提案手法は、トレーニング時に見られなかった被験者や複雑な手のポーズにも一般化できるか？

主な発見

• 5Scalesアーキテクチャは、HandSetテストセットで12.7mmという最小の3次元関節位置誤差を達成し、Zhouら[34]（18.7mm）や他のベースラインを上回った。
• ICVLデータセットでは、3次元関節位置誤差が10.0mmにまで低下し、最先端のLRF[25]（12.6mm）およびZhouら[34]（11.5mm）を上回った。
• 手の形状やサイズの変動が大きいICVLでは、1名の被験者しか含まれないNYUと比較して、より優れた一般化性能を示した。
• GlobalScaleおよびMultiScaleのバリエーションには限界が見られた：GlobalScaleはスケーリングが過剰に制約され、MultiScaleは個別の骨長学習による不安定性を示した。
• 定性的な比較により、モデルは安定して収束し、HandSetデータセットの未観測画像に対しても良好に一般化していることが示された。
• 提案されたHandSetデータセット（NYU、ICVL、MSRA-2015の統合）は、手の形状、サイズ、複雑なポーズの多様性が向上し、トレーニングのロバスト性が向上した。