[論文レビュー] Capturing Hand Articulations using Recurrent Neural Network for 3D Hand Pose Estimation.

Cheol-Hwan Yoo, Seungwook Kim+3 more|arXiv (Cornell University)|Nov 18, 2019

Human Pose and Action Recognition参考文献 21被引用数 5

ひとこと要約

本論文では、6本のブランチ（掌1本、指1本ずつ）を用いて手のアーチレートド構造をモデル化することで、1枚の深度画像から3次元手関節姿勢を推定する階層的構造を持つ畳み込み再帰ニューラルネットワーク（HCRNN）を提案する。RNNを用いて関節間の逐次的依存関係を捉える。2次元CNNベースの手法の中で最先端の精度を達成し、1枚のGPUで240 fpsの推論速度を実現する3次元CNNベースの手法と同等の性能を発揮する。

ABSTRACT

3D hand pose estimation from a single depth image plays an important role in computer vision and human-computer interaction. Although recent hand pose estimation methods using convolution neural network~(CNN) have shown notable improvements in accuracy, most of them have a limitation that they rely on a complex network structure without fully exploiting the articulated structure of the hand. A hand, which is an articulated object, is composed of six local parts: the palm and five independent fingers. Each finger consists of sequential-joints that provide constrained motion, referred to as a kinematic chain. In this paper, we propose a hierarchically-structured convolutional recurrent neural network~(HCRNN) with six branches that estimate the 3D position of the palm and five fingers independently. The palm position is predicted via fully-connected layers. Each sequential-joint, i.e. finger position, is obtained using a recurrent neural network~(RNN) to capture the spatial dependencies between adjacent joints. HCRNN directly takes the depth map as an input without a time-consuming data conversion, such as 3D voxels and point clouds. Experimental results on public datasets demonstrate that the proposed HCRNN not only outperforms the 2D CNN-based methods using the depth image as their inputs but also achieves competitive results with state-of-the-art 3D CNN-based methods with a highly efficient running speed of 240 fps on a single GPU.

研究の動機と目的

• 従来の2次元CNNベースの手法が手のアーチレートド構造を十分にモデル化できないという限界を解決すること。
• 指の運動学的チェーン構造を明示的に活用することで、3次元手関節姿勢推定の精度を向上させること。
• ボクセル化や点群生成などの計算コストの高い3次元データ変換を回避する高速な推論手法を開発すること。
• 3次元CNNベースの手法と同等の性能を発揮しながらも、高い速度を維持すること。

提案手法

• HCRNNアーキテクチャは、掌用1本と5本の指それぞれ用の合計6本の並列ブランチから構成される。
• 掌の位置は、深度マップに全結合層を適用することで予測される。
• 各指の3次元関節位置は、運動学的チェーンにおける隣接関節間の空間的依存関係をモデル化する再帰ニューラルネットワーク（RNN）を用いて推定される。
• RNNは関節を逐次処理し、指の関節運動に内在する制約付きの運動パターンを捉える。
• モデルは直接深度マップを入力とし、ボクセル化や点群生成といった時間のかかる3次元データ変換ステップを回避する。
• 階層的構造により、人体の手の解剖学的・運動学的制約を尊重した関節推定が可能になる。

実験結果

リサーチクエスチョン

• RQ1 指の運動学的チェーンを明示的にモデル化する深層学習モデルは、標準の2次元CNNと比較して3次元手関節姿勢推定の精度を向上させることができるか？
• RQ2 関節間の逐次的依存関係を捉えるためにRNNを用いることで、3次元姿勢推定における一般化性と精度が向上するか？
• RQ3 手の関節構造を構造的にモデル化した2次元CNNベースのアプローチは、3次元CNNベースの最先端手法と同等の性能を発揮できるか？
• RQ4 3次元データ変換を回避するが、高い精度を維持するモデルの推論速度はどの程度か？

主な発見

• HCRNNは、深度画像を入力として使用する2次元CNNベースの手法と比較して、3次元手関節姿勢推定の精度が優れている。
• 提案手法は、公的データセットにおいて、最先端の3次元CNNベースの手法と同等の性能を発揮する。
• 1枚のGPUで240フレーム/秒という高い推論速度を達成しており、多数の3次元CNNベースの手法を著しく上回る。
• RNNを用いて逐次的関節依存関係をモデル化することで、指の関節運動における運動学的制約のモデル化が向上した。
• 3次元データ変換を経由せずに深度マップを直接処理することで、高い効率性と精度を維持した。
• 掌と指それぞれに独立したブランチを設けた階層的構造により、より正確で構造的な関節予測が可能になった。