[論文レビュー] Silhouette-Net: 3D Hand Pose Estimation from Silhouettes

Kuo‐Wei Lee, Shih‐Hung Liu+2 more|arXiv (Cornell University)|Dec 28, 2019

Human Pose and Action Recognition参考文献 30被引用数 4

ひとこと要約

Silhouette-Net は、深度マップを必要とせず、二値化された手のシルエットからのみ 3D 手関節ポーズを推定するエンドツーエンドのディーブラーニングフレームワークを提案する。Depth Perceptive Network (DPN) と Residual Prediction Network (RPN) を通じて暗黙的な深度認識を学習することで、HIM2017 ベンチマークで最先端の性能を達成し、平均誤差 5.60 mm、1関節あたり最大誤差 7.63 mm を達成した。

ABSTRACT

3D hand pose estimation has received a lot of attention for its wide range of applications and has made great progress owing to the development of deep learning. Existing approaches mainly consider different input modalities and settings, such as monocular RGB, multi-view RGB, depth, or point cloud, to provide sufficient cues for resolving variations caused by self occlusion and viewpoint change. In contrast, this work aims to address the less-explored idea of using minimal information to estimate 3D hand poses. We present a new architecture that automatically learns a guidance from implicit depth perception and solves the ambiguity of hand pose through end-to-end training. The experimental results show that 3D hand poses can be accurately estimated from solely {\em hand silhouettes} without using depth maps. Extensive evaluations on the {\em 2017 Hands In the Million Challenge} (HIM2017) benchmark dataset further demonstrate that our method achieves comparable or even better performance than recent depth-based approaches and serves as the state-of-the-art of its own kind on estimating 3D hand poses from silhouettes.

研究の動機と目的

• 最小限の入力、具体的には深度マップや RGB イメージではなく二値化された手のシルエットのみを用いた 3D 手関節ポーズ推定の課題に対処すること。
• 明示的な深度マップの教師信号を用いずに、暗黙的な深度認識が正確な 3D 手関節ポーズ推定に十分であるかどうかを調査すること。
• 自己遮蔽や視点の変化に対しても高い精度を維持できる低コストで頑健なシステムを、シルエット入力のみで構築すること。
• 正確な深度値を保持するよりも、「深度の概念」を学習することが、正確な 3D ポーズ予測にとってより重要であることを示すこと。

提案手法

• モデルはマルチビュー入力戦略を採用し、前面および側面からのシルエットを処理することで空間的認識を向上させる。
• DPN は U-Net と FPN に類似たアーキテクチャを備え、シルエットから階層的かつマルチスケールの空間表現を学習する。
• DPN は暗黙的な深度認識のガイダンスを生成し、これにより Residual Prediction Network (RPN) における 3D 関節位置の予測が制約および強化される。
• 全ネットワークはエンドツーエンドで訓練され、入力としてシルエットが使用され、訓練中に真値深度マップの補助的监督が可能である。
• 複数のビューからの深度認識の潜在的表現が学習され、これにより明示的な深度データなしで 3D 構造を推定可能となる。
• 最終的な予測は、DPN と RPN の特徴を統合した出力から、21 個の手関節の 3D 座標を回帰ヘッドが出力する。

実験結果

リサーチクエスチョン

• RQ1 深度マップや RGB 入力なしに、二値化された手のシルエットのみを用いて正確に 3D 手関節ポーズ推定が可能か？
• RQ2 暗黙的な深度認識が、深度ベースの手法と同等の性能を達成するのに十分か？
• RQ3 マルチビューのシルエット入力は、単一ビュー入力と比較して、精度および頑健性において優れているか？
• RQ4 テスト入力がシルエットのみである状況で、訓練時に真値深度マップの教師信号を用いることで、性能がどの程度向上するか？
• RQ5 明示的な深度情報なしに、シルエットで学習したモデルが、遮蔽や複雑な手の姿勢に対しても一般化できるか？

主な発見

• Silhouette-Net は HIM2017 ベンチマークで平均誤差 5.60 mm、1関節あたり最大誤差 7.63 mm を達成し、多数の最先端の深度ベース手法を上回った。
• 前面および側面からのマルチビュー入力を利用した Silhouette-Net のバージョンは、単一ビューのベースライン（平均誤差 7.07 mm）と比較して顕著に精度が向上した。
• 訓練時に真値深度マップの教師信号を用いなくても、モデルは強力な性能（平均誤差 6.75 mm）を達成しており、深度認識の学習が頑健で効果的であることを示している。
• 真値深度マップの教師信号を訓練に組み込むことで、さらに性能が向上し、平均誤差 5.60 mm まで改善された。これは、教師信号が性能向上に寄与するが、最終的な結果を得る上で必須ではないことを示している。
• 本手法は、正確な深度マップを保持するよりも、深度認識を学習することがより重要であることを示しており、シルエットのみからもモデルが良好に一般化できることを裏付けた。
• 本手法は、多数の RGBD ベースの最先端手法を上回る性能を示しており、効果的な暗黙的深度学習と組み合わせることで、最小限の入力でも高精度な推定が可能であることを証明した。