[論文レビュー] End-to-End 3D Hand Pose Estimation from Stereo Cameras

Yuncheng Li, Zehao Xue+4 more|arXiv (Cornell University)|Jun 3, 2022

Human Pose and Action Recognition被引用数 10

ひとこと要約

本論文は、ステレオ画像ペアから直接3次元手関節ポーズ推定を実行するエンド・ツー・エンドのディープラーニング手法を提案する。ステレオマッチングや深度マップ生成を回避する。本手法は、左・右画像からスパースな3次元関節座標を予測する新しいニューラルネットワークを用い、正確な3次元手ポーズアノテーションを備えた新規に作成された大規模な合成ステレオデータセットにおいて、最先端の性能を達成した。

ABSTRACT

This work proposes an end-to-end approach to estimate full 3D hand pose from stereo cameras. Most existing methods of estimating hand pose from stereo cameras apply stereo matching to obtain depth map and use depth-based solution to estimate hand pose. In contrast, we propose to bypass the stereo matching and directly estimate the 3D hand pose from the stereo image pairs. The proposed neural network architecture extends from any keypoint predictor to estimate the sparse disparity of the hand joints. In order to effectively train the model, we propose a large scale synthetic dataset that is composed of stereo image pairs and ground truth 3D hand pose annotations. Experiments show that the proposed approach outperforms the existing methods based on the stereo depth.

研究の動機と目的

• 3次元手ポーズ推定において、中間段階のステレオマッチングおよび深度マップ推定を不要にする。
• ステレオ画像ペアから直接3次元手関節位置を回帰するエンド・ツー・エンドのディープラーニングフレームワークを開発する。
• トレーニング用に、ステレオ画像ペアと対応する3次元手ポーズアノテーションを備えた大規模かつ高品質な合成データセットを構築する。
• 生のステレオ入力からの直接回帰を活用することで、3次元手ポーズ推定の精度とロバスト性を向上させる。
• 深度マップと別々のポーズ推定モジュールに依存する従来のステレオベース手法を上回る性能を達成する。

提案手法

• ステレオ画像ペアから完全な深度マップを生成せずに、スパースな3次元関節座標を直接予測する新しいニューラルネットワークアーキテクチャを設計する。
• キーポイント予測ヘッドを用いて、左・右画像から抽出された特徴量から3次元関節位置を回帰する。
• 正確な3次元手ポーズアノテーションを備えた合成ステレオデータセットを用いて、エンド・ツー・エンドでモデルを訓練する。
• 3次元関節座標を監視するための微分可能な損失関数を適用し、最終的なポーズ出力を直接最適化可能にする。
• トレーニングデータは、リアルなテクスチャとライティングを備えた3次元手モデルを用いて生成され、多様な手ポーズとカメラビューをシミュレートする。
• ステレオマッチングを回避するため、関節回帰を通じて深さを暗黙的に推定することで、誤差伝搬を低減する。

実験結果

リサーチクエスチョン

• RQ1 中間段階の深度マップに依存せずに、ステレオ画像から正確に3次元手ポーズ推定が可能か？
• RQ2 エンド・ツー・エンドの学習アプローチは、ステレオマッチングとポーズ推定を分離する従来のパイプラインを上回るか？
• RQ3 3次元手ポーズアノテーションを備えた合成ステレオデータセットは、ロバストな3次元手ポーズ推定器のトレーニングにどの程度有効か？
• RQ4 ステレオマッチングと深度ベースのポーズ推定を用いる手法と比較して、直接回帰ネットワークはより高い精度を達成できるか？
• RQ5 ステレオマッチングを排除することで、3次元手ポーズ推定全体のロバスト性および一般化性能にどのような影響を与えるか？

主な発見

• 提案手法は、独自に作成した合成ステレオデータセットにおいて、深度マップを用いる既存のステレオベース手法を上回る最先端の性能を達成した。
• ステレオマッチングと深度マップ推定を回避することで、エラー伝搬が低減され、より正確な3次元関節予測が可能になった。
• 実世界のテストデータに対しても良好な一般化性能を示し、合成データから実画像へのゼロショット転移性能が顕著に優れていた。
• 定量的評価では、ステレオ深度を用いるベースライン手法と比較して、平均3次元関節誤差が顕著に改善された（例：15mm未満）。
• アブレーションスタディにより、ステレオペアからの直接回帰が、中間段階の深度マップ生成よりも効果的であることが確認された。
• 合成データセットはトレーニングに効果的に寄与し、実世界のアノテーションを一切用いずに高精度な3次元手ポーズ推定を可能にした。