[論文レビュー] Structure-Aware 3D Hourglass Network for Hand Pose Estimation from Single Depth Image

Fuyang Huang, Ailing Zeng+3 more|arXiv (Cornell University)|Dec 26, 2018

Human Pose and Action Recognition参考文献 27被引用数 13

ひとこと要約

本論文では、3次元ボクセル化深度データから直接3次元ヒートマップを回帰する構造に配慮した3次元アワーガラスネットワークを提案する。骨ヒートマップを介した中間監視により骨格制約を統合する。MSRAとNYUデータセットにおいて、それぞれ7.4 mmおよび8.9 mmの平均関節誤差を達成し、最先端の性能を示し、ノイズに強い精度を発揮する。

ABSTRACT

In this paper, we propose a novel structure-aware 3D hourglass network for hand pose estimation from a single depth image, which achieves state-of-the-art results on MSRA and NYU datasets. Compared to existing works that perform image-to-coordination regression, our network takes 3D voxel as input and directly regresses 3D heatmap for each joint. To be specific, we use hourglass network as our backbone network and modify it into 3D form. We explicitly model tree-like finger bone into the network as well as in the loss function in an end-to-end manner, in order to take the skeleton constraints into consideration. Final estimation can then be easily obtained from voxel density map with simple post-processing. Experimental results show that the proposed structure-aware 3D hourglass network is able to achieve a mean joint error of 7.4 mm in MSRA and 8.9 mm in NYU datasets, respectively.

研究の動機と目的

• 単一深度画像からの高次元的かつ非線形的なハンドポーズ回帰の課題に取り組むこと。特に自己遮蔽やノイズの影響を受ける状況を想定。
• 2次元投影ではなく3次元ボクセルベースの3次元畳み込みニューラルネットワーク（3D CNN）を用いることで、3次元空間的情報を保持することによる精度向上。
• ネットワークアーキテクチャ内に、木構造的な指の骨格（ツリー構造）を明示的にモデル化すること。
• 実世界の深度センサで一般的に見られる欠損ピクセル（例：ブラックホール）に対する一般化性と耐性を向上させること。
• 最小限の後処理で、関節と骨のヒートマップをエンドツーエンドで学習すること。

提案手法

• 入力深度画像はカメラ座標系において3次元ボクセルグリッドに変換され、残差ブロックを備えた3次元アワーガラスネットワークの入力として使用される。
• ネットワークは各関節の3次元ヒートマップを回帰するとともに、各アワーガラススタックの最終層で骨ヒートマップも追加で予測する。
• 骨ヒートマップは、ハンド骨格の階層的ツリー構造を明示的にモデル化するための、損失関数における中間監視として機能する。
• エンドツーエンドの学習を実現するため、関節ヒートマップ損失と骨ヒートマップ損失を組み合わせた損失関数を用いて訓練する。これにより、骨格に配慮した最適化が可能になる。
• 最終的な関節位置は、3次元ヒートマップ上のピーク検出により単純な後処理を経て抽出される。
• マルチスケールの3次元特徴を捉えるために、3次元残差ブロック（ResNet）を構築ブロックとして用いる。

実験結果

リサーチクエスチョン

• RQ1 3次元ボクセルベースの回帰は、2次元投影ベースの手法に比べ、ハンドポーズ推定において深度情報をより効果的に保持できるか？
• RQ2 骨ヒートマップによる明示的な骨格制約の統合は、関節推定の精度を向上させるか？
• RQ3 骨ヒートマップを用いた中間監視は、ノイズの多い深度データにおける一般化性能を向上させるか？
• RQ4 平均関節誤差と成功確率の観点から、本手法は最先端のアプローチと比較してどのように差をつけるか？
• RQ5 3次元アワーガラスアーキテクチャに3次元残差ブロックを組み合わせることで、ハンドポーズ推定におけるエンドツーエンドの3次元ヒートマップ回帰に有効であるか？

主な発見

• 提案手法はMSRAデータセットで7.4 mmの平均関節誤差を達成し、最先端手法の中でも2位の成績を収めた。
• NYUデータセットでは8.9 mmの平均関節誤差を達成し、3D CNNベースのV2V-netを含む多数の既存手法を上回った。
• 構造化照明カメラに起因するブラックホールなどの深度ノイズに対しても、3次元ボクセル表現のおかげで優れた耐性を示した。
• 骨ヒートマップ監視の導入により、関節推定精度が向上したことが、骨損失あり・なしのアブレーションスタディで確認された。
• 同じGPU上で約10.8 fpsで実行可能であり、V2V-netが報告した3.5 fpsよりも著しく高速であった。
• 定性的な結果から、より現実的な指の骨格の整合性と、関節のずれの低減が確認され、骨格制約の有効性が裏付けられた。