[論文レビュー] Local and Global Point Cloud Reconstruction for 3D Hand Pose Estimation

Ziwei Yu, Linlin Yang+2 more|arXiv (Cornell University)|Dec 13, 2021

Human Pose and Action Recognition被引用数 5

ひとこと要約

本論文は、カスタマイズされた3次元手のテンプレートと、局所的・グローバル的ポイントクラウド再構成戦略を組み合わせた、単一のRGB画像から3次元手のポーズ推定および完全な3次元ポイントクラウド再構成を実現する新規フレームワークを提案する。本手法は、3次元手のポーズ推定において最先端の手法を上回り、高品質で現実的かつ完全な3次元手のポイントクラウドを生成する。評価は新規のマルチビューRGB-Dデータセットおよび4つの公的ベンチマークで実施された。

ABSTRACT

This paper addresses the 3D point cloud reconstruction and 3D pose estimation of the human hand from a single RGB image. To that end, we present a novel pipeline for local and global point cloud reconstruction using a 3D hand template while learning a latent representation for pose estimation. To demonstrate our method, we introduce a new multi-view hand posture dataset to obtain complete 3D point clouds of the hand in the real world. Experiments on our newly proposed dataset and four public benchmarks demonstrate the model's strengths. Our method outperforms competitors in 3D pose estimation while reconstructing realistic-looking complete 3D hand point clouds.

研究の動機と目的

• 単一のRGB画像からの正確な3次元手のポーズおよび形状推定の課題に取り組むこと。特に、高い関節可動域と自己遮蔽の影響を受ける状況を想定する。
• 従来の手法がカメラに向かう表面のみ再構成するか、MANOのようなパラメトリックモデルに依存し、滑らかで現実的でない形状を生成するという限界を克服すること。
• 複雑なメッシュアノテーションを必要とせず、細かな幾何的詳細を捉える非パrametricな高精細度の3次元手のポイントクラウド再構成手法を開発すること。
• 完全な3次元ポイントクラウド、3次元関節アノテーション、およびフィットされたMANOパラメータを備えた新規のマルチビューRGB-Dデータセット（MVHand）を提供し、現実的な評価を可能にすること。
• ポイントクラウド再構成とポーズ推定の共同学習が、共有の豊富な潜在表現を通じて両タスクの品質を向上させることを示すこと。

提案手法

• 本手法は、3次元手のポーズと完全な3次元ポイントクラウド再構成を同時に最適化する、学習可能な画像からポイントクラウドへのエンコーダ・デコーダアーキテクチャを採用する。
• 手の幾何形状に特化した新規の3次元手テンプレート初期化を導入し、再構成のための初期3次元点の分布をより良くする。
• 手を局所的コンポONENT（指）とグローバル構造に分けるセマンティックグループ化戦略を用い、細かな詳細を階層的に再構成可能にする。
• 局所的およびグローバルなデコード戦略を統合する：局所ヘッドが個々の指を再構成し、グローバルヘッドが全手を再構成することで、再構成の忠実度と詳細度が向上する。
• FoldingNetおよびAtlasNetにインspiredされたポイントクラウドオートエンコーディング技術を採用し、手に特化したテンプレートを用いて再構成をガイドする。
• 本手法は、再構成損失（Chamfer距離およびEarth Mover’s Distance）と、ポーズ推定のための3次元キーポイント回帰損失を用いて、エンド・トゥ・エンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 単一のRGB画像から、カメラに見えない表面を含む完全で現実的な3次元手のポイントクラウドを再構成できるか？（カメラに向かう側のみではなく。）
• RQ2 指レベルの局所的再構成と全手のグローバル再構成を統合することで、単一のグローバル再構成ヘッドに比べ、幾何的忠実度および詳細度が向上するか？
• RQ3 ポイントクラウド再構成とポーズ推定の両方を共同で学習した潜在表現は、ポーズ推定のみまたは幾何再構成のみを実行する手法を上回る性能を示せるか？
• RQ4 標準的な2次元グリッドまたは一般化された3次元メッシュ初期化と比較して、提案された局所的3次元手テンプレート初期化は、再構成品質および収束性において優れているか？
• RQ5 完全な3次元ポイントクラウド再構成ブランチを含めることで、3次元手のポーズ推定性能がどの程度向上するか？

主な発見

• 提案手法は、4つの公的ベンチマークおよび新規に導入されたMVHandデータセットにおいて、3次元手のポーズ推定で最先端の性能を達成し、ポイントクラウド再構成を含まないバージョンと比較して平均20％の誤差低減を実現した。
• 視覚的比較により、個々の指の区別が明確で、表面が滑らかであることが示され、本手法は高い幾何的忠実度を有する完全な3次元手のポイントクラウドを再構成している。
• STBおよびRHDベンチマークにおいて、本手法は[Boukhayma et al.]を上回り、Chamfer Distance（CD）とEarth Mover’s Distance（EMD）の両方の値が低く、再構成品質に優れている。CD値はそれぞれ0.243および0.450であった。
• アブレーションスタディにより、ポイントクラウドデコーダを削除すると平均3次元ポーズ誤差が20％増加し、再構成がポーズ推定のための学習された潜在表現を向上させることを実証した。
• 局所的3次元手テンプレート初期化は、2次元グリッドおよび一般化された3次元手初期化の両方を上回り、CDおよびEMDの両面で優れた性能を示した。これは、正確な再構成をガイドする有効性を示している。
• 2.5次元投影ベースのEMDスコアがわずかに優れていたYangらの手法と比較しても、本手法はより洗練された、詳細な幾何形状を持つ高品質なポイントクラウドを生成しており、全3次元再構成の優位性を示している。