[論文レビュー] Camera-Space Hand Mesh Recovery via Semantic Aggregation and Adaptive 2D-1D Registration

Xingyu Chen, Yufeng Liu+7 more|arXiv (Cornell University)|Mar 4, 2021

Human Pose and Action Recognition参考文献 43被引用数 5

ひとこと要約

本論文は、カメラ中心座標系における単眼3次元ハンドメッシュ再構成のための統一フレームワーク、Camera-Space Mesh Recovery (CMR) を提案する。根元相対メッシュ再構成と根元位置推定を同時に解くことで、FreiHAND、RHD、Human3.6Mで最先端の性能を達成し、FreiHANDでは48.8 mmのCS-MPJPEと48.9 mmのCS-MPVPEを達成した。

ABSTRACT

Recent years have witnessed significant progress in 3D hand mesh recovery. Nevertheless, because of the intrinsic 2D-to-3D ambiguity, recovering camera-space 3D information from a single RGB image remains challenging. To tackle this problem, we divide camera-space mesh recovery into two sub-tasks, i.e., root-relative mesh recovery and root recovery. First, joint landmarks and silhouette are extracted from a single input image to provide 2D cues for the 3D tasks. In the root-relative mesh recovery task, we exploit semantic relations among joints to generate a 3D mesh from the extracted 2D cues. Such generated 3D mesh coordinates are expressed relative to a root position, i.e., wrist of the hand. In the root recovery task, the root position is registered to the camera space by aligning the generated 3D mesh back to 2D cues, thereby completing cameraspace 3D mesh recovery. Our pipeline is novel in that (1) it explicitly makes use of known semantic relations among joints and (2) it exploits 1D projections of the silhouette and mesh to achieve robust registration. Extensive experiments on popular datasets such as FreiHAND, RHD, and Human3.6M demonstrate that our approach achieves stateof-the-art performance on both root-relative mesh recovery and root recovery. Our code is publicly available at https://github.com/SeanChenxy/HandMesh.

研究の動機と目的

• 単眼3次元ハンドメッシュ再構成における2次元から3次元へのあいまいさの課題に対処し、絶対的なカメラ座標系座標を回復すること。
• 既存手法が根元相対3次元メッシュのみを予測するという制限を克服し、ハンドオブジェクトインタラクションのような応用を可能にすること。
• 関節間の意味的関係を明示的にモデル化し、スイルエット投影を用いることで、遮蔽、切断、複雑なポーズに対する耐性を高めること。
• 根元相対メッシュ再構成と根元位置推定を1つのパイプラインに統合し、エンドツーエンドのカメラ座標系メッシュ再構成を実現すること。
• Human3.6MおよびCOCOデータセットを用いた同じフレームワークを用いて、全身メッシュ再構成への一般化を示すこと。

提案手法

• 単一のRGB画像から2次元関節ランドマークとシルエットを抽出し、3次元再構成のための入力として用いる。
• 既知の解剖学的関係に基づいて関節ヒートマップをグループ化する意味的集約モジュールを適用し、より効果的な2次元のヒントを生成する。
• 2次元ヒントから3次元メッシュを回復するための、Inception Spiralモジュールを用い、根元相対座標のメッシュを生成する。
• 予測された3次元メッシュを2次元ランドマーク（2次元）とシルエット投影（1次元）に同時に一致させる、適応的2D-1D登録法を用いてグローバルメッシュ登録を実行する。
• 多次元マッチング目的関数を最適化することで、根元位置推定の耐性と正確性を向上させる。
• 2次元キーポイントおよびシルエットアノテーションの教師あり学習を用い、3次元メッシュと根元位置の損失を最適化することで、エンドツーエンドのパイプラインを訓練する。

実験結果

リサーチクエスチョン

• RQ1 ハンド関節間の意味的関係をどのように明示的に活用することで、2次元から3次元へのハンドメッシュ再構成を改善できるか？
• RQ2 2次元関節ランドマークとシルエットの両方を効果的に活用する最良の方法は何か？ これにより、耐障害性の高いカメラ座標系メッシュ再構成が実現できるか？
• RQ3 根元相対メッシュ再構成と根元位置推定を統合的に最適化するフレームワークは、カメラ座標系の精度を向上させることができるか？
• RQ4 標準の2次元のみまたは3次元のみの登録と比較して、適応的2D-1D登録はどのように耐性を向上させるか？
• RQ5 提案手法は、データセットやタスク（全身メッシュ再構成を含む）に対してどの程度一般化可能か？

主な発見

• CMRはFreiHANDで48.8 mmのCS-MPJPEと48.9 mmのCS-MPVPEを達成し、I2L-MeshNet や ObMan よりもそれぞれ11.5 mmおよび36.5 mm優れている。
• RHDデータセットでは、CMR-PGが3D PCKで0.949のAUCを達成し、比較対象の全手法を上回り、CMR-SGは0.944のAUCを達成した。
• CMR-SGは、根元回復およびカメラ座標系メッシュ再構成で最高の性能を示し、FreiHANDでは59.0 mmのPA-MPVPEと44.7 mmのPA-MPJPEを達成した。
• 本手法は全身メッシュ再構成に対しても良好に一般化され、Human3.6MおよびCOCOでPose2MeshやI2L-MeshNetと同等またはそれ以上のMPJPEおよびPA-MPJPEを達成した。
• CMR-PGはFreiHANDで6.9 mmのPA-MPJPEを達成し、根元相対メッシュ再構成の高精度を示した一方で、GPUメモリ使用量（1.5–1.9G）が低く、高速な推論速度を維持した。
• 定性的な結果から、遮蔽、切断、困難なポーズに対しても耐性があり、正確なサイドビューおよびカメラ座標系メッシュ再構成が可能であることが示された。