[論文レビュー] Hand Pose Estimation: A Survey

Bardia Doosti|arXiv (Cornell University)|Mar 3, 2019

Human Pose and Action Recognition参考文献 58被引用数 33

ひとこと要約

手の姿勢推定手法の総合的な調査で、深度ベースと RGB ベースのアプローチを比較し、2D/3D 手指関節推定の主要データセットを詳述します。検出と回帰、2D/3D 出力、22 の手データセットをカバーしています。

ABSTRACT

The success of Deep Convolutional Neural Networks (CNNs) in recent years in almost all the Computer Vision tasks on one hand, and the popularity of low-cost consumer depth cameras on the other, has made Hand Pose Estimation a hot topic in computer vision field. In this report, we will first explain the hand pose estimation problem and will review major approaches solving this problem, especially the two different problems of using depth maps or RGB images. We will survey the most important papers in each field and will discuss the strengths and weaknesses of each. Finally, we will explain the biggest datasets in this field in detail and list 22 datasets with all their properties. To the best of our knowledge this is the most complete list of all the datasets in the hand pose estimation field.

研究の動機と目的

• 手の姿勢推定問題とそのバリエーションを説明する。
• 深度ベースおよびRGBベースの手の姿勢推定手法をレビューする。
• CNN における検出ベースと回帰ベースのアプローチを検討する。
• 手の姿勢推定の主要データセットとその特性を要約する。
• 分野の長所、短所、動向を強調する。

提案手法

• 検出ベースのヒートマップ出力と回帰ベースの関節座標を区別する。
• 3D形状推定や3D CNN（例：V2V-PoseNet、HandPointNet）を含む深度ベースの手法を調査する。
• HandSegNet/PoseNet パイプラインや多視点・合成データ戦略を含む RGB ベースの手法を調査する。
• アノテーション制約を緩和するデータ拡張、合成、ドメイン転送（GANs、CycleGAN）を検討する。
• 精度向上のための RGBD ハイブリッドとフュージョン手法（FuseNet）を説明する。
• データセットとアノテーション方式（21関節、3D座標）とそれらが学習に与える影響を強調する。

実験結果

リサーチクエスチョン

• RQ1 主な手法カテゴリは何であり、深度ベースとRGBベースのアプローチは問題設定と性能でどのように異なるか。
• RQ2 データセットとアノテーションの実践はどのように進化し、それがモデルの一般化にどのような影響を及ぼしてきたか。
• RQ3 マルチビュー、合成データ、ドメイン転送などの戦略は、RGB の遮蔽やデータ不足をどのように緩和するか。
• RQ4 2Dおよび3Dの手の姿勢推定における検出ベースと回帰ベースの手法の長所と短所は何か。
• RQ5 フュージョンおよび3D表現（例：TSDF、PointNet）が推定精度にどのように寄与するか。

主な発見

• 深度ベースの手法は3D表現とV2V-PoseNetのようなネットワークを用いて3D手の姿勢推定へと進化し、主要データセットで高い性能を達成している。
• RGBベースの手法は大規模データセットを必要とし、しばしば手のセグメンテーションと多数段階のパイプラインを用いて2Dの手がかりから3D姿勢を推定する。
• 遮蔽処理とデータ不足は、マルチカメラ設置、合成データ、およびドメイン転送技術（GANs、CycleGAN）を促進してきた。
• 混合RGBDアプローチ（例：FuseNet）は深度とRGBストリームの統合を試みたが、単一モダリティ手法を上回らない場合もある。
• GANベースおよび合成データから実データへの転送パイプラインは、トレーニングを拡張しアノテーション負担を軽減するために一般的になっている。
• 本調査はデータセット主導の結果にもかかわらず、現実世界での性能はしばしば簡単なベースラインに遅れを取ることを指摘しており、一般化の課題を浮き彫りにしている。