[論文レビュー] Robust 3D Hand Pose Estimation in Single Depth Images: from Single-View CNN to Multi-View CNNs

Liuhao Ge, Hui Liang+2 more|arXiv (Cornell University)|Jun 23, 2016

Human Pose and Action Recognition参考文献 30被引用数 60

ひとこと要約

本稿では、3つの直交平面に3次元手の点群を投影することで、単一の深度画像からのロバストな3次元手関節姿勢推定のためのマルチビューCNN手法を提案する。各ビューに対して別個のCNNを用いて2次元ヒートマップを回帰し、学習された関節ポーズ事前分布を用いてそれらを統合することで、正確な3次元関節位置を回復する。本手法は最先端の性能を達成し、70fps以上のリアルタイム推論を実現しており、特に困難なポーズ変化やクロスデータセット設定下でも、卤単一ビュー手法に比して精度と一般化性能に優れる。

ABSTRACT

Articulated hand pose estimation plays an important role in human-computer interaction. Despite the recent progress, the accuracy of existing methods is still not satisfactory, partially due to the difficulty of embedded high-dimensional and non-linear regression problem. Different from the existing discriminative methods that regress for the hand pose with a single depth image, we propose to first project the query depth image onto three orthogonal planes and utilize these multi-view projections to regress for 2D heat-maps which estimate the joint positions on each plane. These multi-view heat-maps are then fused to produce final 3D hand pose estimation with learned pose priors. Experiments show that the proposed method largely outperforms state-of-the-art on a challenging dataset. Moreover, a cross-dataset experiment also demonstrates the good generalization ability of the proposed method.

研究の動機と目的

• 高次元的で非線形な回帰と深度の曖昧さのため、依然として困難な単一深度画像からの正確な3次元手関節姿勢推定に取り組む。
• 2次元関節位置における深度値に依存する単一ビューCNNの限界を克服する。これは、わずかな2次元局所化誤差に対しても大きな深度誤差を引き起こす可能性があるためである。
• 複数の直交ビュー間の補完的情報を活用することで、ヒートマップ予測の曇りを低減する。
• 明示的な手モデルや真値初期化に依存せず、学習によって暗黙的にポーズ事前分布を統合する。
• 時間的依存性やモデルキャリブレーションに依存しない、視点不変の表現を学習することで、データセット間での一般化性を向上させる。

提案手法

• 入力の深度画像を3次元点群に変換し、その後3つの直交平面（前面、側面、上面）に投影することで、3つの2次元マルチビュー画像を生成する。
• 各投影ビューに対して別個のCNNを並列に学習し、それぞれがその平面における関節位置の確率分布を符号化する2次元ヒートマップを回帰する。
• 全3ビューからの予測ヒートマップを、学習されたポーズ事前分布を用いて統合し、最終的な3次元関節位置を推定することで、曇りを低減し、耐性を向上させる。
• 統合プロセスは手の解剖学的空間的制約を組み込み、明示的なモデルフィッティングを必要とせずに、手の運動および関節関係を暗黙的にモデル化する。
• 全パイプラインはエンドツーエンドで最適化され、マルチビュー投影と統合はCPUで、CNN推論はGPUで実行されるため、リアルタイム性能が実現可能である。
• 明示的な3次元モデルフィッティングを回避し、真値初期化や時間的情報も不要であるため、実世界への展開において柔軟性が向上する。

実験結果

リサーチクエスチョン

• RQ1 直交投影からの深度情報のより良い活用が、単一ビュー回帰に比べて3次元手関節姿勢推定の精度向上に寄与するか？
• RQ2 3つの直交ビューからのヒートマップ統合は、単一ビューのヒートマップに複数のピーク（ホットスポット）を含む場合でも、関節局所化の曇りをどの程度低減できるか？
• RQ3 再訓練や真値初期化を用いずに、未学習のデータセットへの一般化性はどの程度達成できるか？
• RQ4 学習によって暗黙的に学習されたポーズ事前分布は、明示的な手モデルや反復的フィッティングに依存する手法に比べ、耐性を向上させるか？
• RQ5 本手法は、挑戦的なベンチマークデータセットにおいても高い精度を維持しながら、リアルタイム推論を達成できるか？

主な発見

• 提案手法は、[21]の最先端手法を、すべての誤差許容範囲で上回り、20mmおよび30mmの誤差閾値内に入るサンプルの割合が10–15%高い。
• 15mm未満の誤差許容範囲では、本手法の性能は[21]よりわずかに低いが、これはヒートマップ解像度が低いことが要因と考えられ、依然として優れた耐性を示す。
• クロスデータセットテストセットにおいて6名の被験者を対象に平均誤差22.8mmを達成し、キャリブレーション済みモデルと真値初期化を必要とするモデルベース手法（FORTH, PSO, ICP）を上回った。
• 視点変化に対して非常に高い耐性を示し、ピッチ角度ごとの平均誤差の標準偏差が0.64mmであり、[21]手法の0.79mmよりも低い。
• 全パイプラインの実行時間は14.1ms（70.9fps）であり、うち6.8msがCNN推論に要しており、CPUベースの投影と統合でもリアルタイム性能が確認された。
• 定性的な結果では、マルチビュー統合手法は、単一ビュー回帰に比べ、パーム上や背景に誤って指先を予測してしまうような誤認識を顕著に低減した。