[論文レビュー] Model-based Hand Pose Estimation for Generalized Hand Shape with Appearance Normalization

Jan Wöhlke, Shile Li+1 more|arXiv (Cornell University)|Jul 2, 2018

Hand Gesture Recognition Systems参考文献 27被引用数 8

ひとこと要約

本稿では、手の形状パラメータ（掌の形状と骨の長さ）をニューラルネットワークによる回帰で学習可能にするモデルベースのハンドポーズ推定手法を提案する。同時に、平行移動、回転、スケーリングによる入力のばらつきを低減するための外観正規化ネットワークの級列を用いる。本手法はNYUデータセットで最先端の精度を達成し、特定のユーザーに固定された形状を持つ従来のハイブリッドモデルに比べて一般化性能が向上する。

ABSTRACT

Since the emergence of large annotated datasets, state-of-the-art hand pose estimation methods have been mostly based on discriminative learning. Recently, a hybrid approach has embedded a kinematic layer into the deep learning structure in such a way that the pose estimates obey the physical constraints of human hand kinematics. However, the existing approach relies on a single person's hand shape parameters, which are fixed constants. Therefore, the existing hybrid method has problems to generalize to new, unseen hands. In this work, we extend the kinematic layer to make the hand shape parameters learnable. In this way, the learnt network can generalize towards arbitrary hand shapes. Furthermore, inspired by the idea of Spatial Transformer Networks, we apply a cascade of appearance normalization networks to decrease the variance in the input data. The input images are shifted, rotated, and globally scaled to a similar appearance. The effectiveness and limitations of our proposed approach are extensively evaluated on the Hands 2017 challenge dataset and the NYU dataset.

研究の動機と目的

• 既存のハイブリッドハンドポーズ推定手法が1人のユーザーに固定されたハンド形状パラメータを採用しているという制限を解消し、未観測のハンド形状への一般化を可能にすること。
• 入力画像における平行移動、回転、スケーリングによるハンド外観の変動に対するロバスト性を向上させること。
• 多様なハンド形状に適合する物理的キネマティック制約を満たすリアルタイムかつ高精度な3次元ハンドポーズ推定を実現すること。
• 外観正規化と学習可能なハンド形状パラメータの有効性を、個別および併用条件下でベンチマークデータセット上で評価すること。

提案手法

• ハンド形状パラメータ（掌の形状と骨の長さ）を入力画像からニューラルネットワークで回帰する、新しい微分可能キネマティック層を導入し、任意のハンド形状への一般化を可能にする。
• 平行移動、回転、スケーリングの変換を推定・適用するためのニューラルネットワークの級列（BoxNet、Box+RotNet、Box+Rot+ScaleNet）を設計する。
• 入力画像をキャリブレーションされた外観に再配置・回転・再スケーリングすることで、外観正規化を実施し、入力データのばらつきを低減する。
• ハンドポーズ推定ネットワークの上流に外観正規化パイプラインを統合し、その後に学習済みパラメータを3次元関節位置にマップするキネマティック層を適用する。
• モデルの容量を異なるものとして評価するため、残差ネットワーク（ResNet）と浅いCNNをバックボーンネットワークとして用いる。
• 関節位置の回帰損失と物理的制約損失の組み合わせにより、全パイプラインを訓練し、キネマティックに妥当なポーズを保証する。

実験結果

リサーチクエスチョン

• RQ1 学習可能なハンド形状パラメータは、ハイブリッドハンドポーズ推定モデルの未観測のハンド形状への一般化を向上させることができるか？
• RQ2 ニューラルネットワークによる外観正規化は、入力画像のばらつきをどの程度低減し、ポーズ推定精度を向上させるか？
• RQ3 外観正規化パイプラインは、深層残差ネットワークと比較して浅いアーキテクチャと組み合わせた場合、性能にどのような影響を与えるか？
• RQ4 学習可能なハンド形状パラメータと外観正規化を併用することで、標準ベンチマークで最先端の性能が達成できるか？

主な発見

• 学習可能なハンド形状パラメータを用いた本手法は、Hands 2017チャレンジデータセットで平均関節位置誤差11.0 mmを達成し、従来のハイブリッドモデル（DeepModel：16.9 mm、DeepPrior++：12.3 mm）を上回る性能を示した。
• NYUデータセットでは、Variable Hand CNNを用いた場合11.4 mm、Variable Hand ResNetを用いた場合11.0 mmの平均関節位置誤差を達成し、最先端の性能を示した。
• NYUデータセットにおいて、外観正規化パイプラインをVariable Hand CNNに組み合わせた場合、関節位置誤差が3.3 mm低減した。これは、本手法の精度向上効果を示している。
• ResNetsとの組み合わせでは外観正規化パイプラインの効果が混合した結果となった：NYUデータセットでは性能向上が見られたが、Hands 2017チャレンジデータセットではわずかに性能が低下した。これはドメインシフトや過剰な正則化による過学習の可能性がある。
• 変換パラメータ推定パイプラインのテスト誤差は、平行移動で10.98 mm、回転で18.54°、スケーリングで0.0498であり、正規化パラメータの推定精度が妥当であることが示された。
• 既知のハンド形状の未学習画像に対して評価した結果、外観正規化パイプラインは誤差を1.06 mm低減した。これは、未学習の視点への一般化に寄与している可能性を示唆するが、実際のテストセットでは効果が認められず、Hands 2017チャレンジテストセットにドメインシフトの問題があると示唆された。