[論文レビュー] Hands Deep in Deep Learning for Hand Pose Estimation

Markus Oberweger, Paul Wohlhart+1 more|arXiv (Cornell University)|Feb 24, 2015

Hand Gesture Recognition Systems参考文献 28被引用数 322

ひとこと要約

本論文は、3Dハンドポーズ推定のための深層学習アーキテクチャを提案する。深度マップからの推定に、学習された3Dポーズ事前分布と、異なるプーリングサイズを有する重複するパッチを用いたマルチスケール精錬段階を統合している。本手法は、NYUおよびICVLベンチマークにおいて最先端の精度を達成するとともに、GPU上で5,000 fpsを超える速度で動作し、精度と局所化の正確性の両面で従来手法を著しく上回っている。

ABSTRACT

We introduce and evaluate several architectures for Convolutional Neural Networks to predict the 3D joint locations of a hand given a depth map. We first show that a prior on the 3D pose can be easily introduced and significantly improves the accuracy and reliability of the predictions. We also show how to use context efficiently to deal with ambiguities between fingers. These two contributions allow us to significantly outperform the state-of-the-art on several challenging benchmarks, both in terms of accuracy and computation times.

研究の動機と目的

• 深層学習を用いて深度マップからの3Dハンドポーズ推定の精度を向上させること。
• 自己遮蔽、自己類似性、ノイズの多い深度データといったハンドポーズ推定の課題に対処すること。
• ポーズ事前分布とコンテキストを効果的に統合できるCNNアーキテクチャを設計し、頑健な関節位置推定を実現すること。
• 精度を損なわずに高速な推論を実現し、リアルタイム応用を可能にすること。
• 標準ベンチマークにおいて、既存手法よりも精度と計算効率の両面で優れていること。

提案手法

• 予測ポーズの構造的整合性を保つために、直前の層よりもニューロン数が少ないボトルネック層を介して、学習された3Dハンドポーズ事前分布をCNNアーキテクチャに統合する。
• 初期関節推定の中心に位置する複数の重複する入力パッチを用いた精錬段階を適用し、プーリング領域を変化させることで解像度とコンテキストのバランスをとる。
• 小さな入力パッチに対しては小さなプーリング領域を用い、細粒度の空間的正確性を保持し、大きなパッチに対しては大きなプーリング領域を用いてコンテキスト情報を捉える。
• 階層的回帰アプローチを採用し、ネットワークが最初に粗い関節位置を予測し、その後局所的特徴を用いてそれを精錬する。
• 3D関節座標の平均二乗誤差損失を用いて、エンド・トゥ・エンドのバックプロパゲーションでネットワークを学習する。
• Theanoを用いてモデルを実装し、GPUアクセcelerationを活用することで、1枚のGPUで5,000 fpsを超えるリアルタイム推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 学習された3Dポーズ事前分布をCNNに効果的に統合することで、3Dハンドポーズ推定の精度を向上させることができるか？
• RQ2 深度マップにおける指同士の曖昧性を解消するために、精錬段階でコンテキストを効率的に活用する方法は何か？
• RQ3 3Dハンドポーズ推定において、精度と推論速度の最良のトレードオフを実現するCNNアーキテクチャは何か？
• RQ4 可変プーリングサイズを有するマルチスケールで重複するパッチを用いることで、精錬段階における局所化正確性を向上させることができるか？
• RQ5 標準ベンチマークにおいて、本手法は最先端のアプローチと比較して、精度と速度の両面で優れているか？

主な発見

• 提案されたDeep-Prior-ORRefアーキテクチャは、NYUおよびICVLデータセットの両方で最低の平均関節誤差を達成し、それぞれ5.2 mmおよび5.5 mmであった。
• 本手法は1枚のGPUで5,000 fpsを超える速度で動作し、CPUでも500 fpsを超える速度を達成しており、従来手法と比べて1桁の速度向上を達成している。
• 3Dポーズ事前分布の統合により、予測誤差が低減され、特に部分的な深度遮蔽が生じる状況でも耐性が向上した。
• 重複するパッチとマルチスケールの精錬段階により、高解像度の詳細情報とコンテキスト手がかりを組み合わせることで、局所化正確性が顕著に向上した。
• グローバルなポーズ事前分布のおかげで、深度データが欠損またはノイズを含んでもハンドのトポロジーを維持することができた。
• 本手法は、Tompson et al. [26] や Tang et al. [22] といった最先端手法を、精度と推論速度の両面で上回った。