[論文レビュー] Towards Accurate Alignment in Real-time 3D Hand-Mesh Reconstruction

Xiao Tang, Tianyu Wang+1 more|arXiv (Cornell University)|Sep 3, 2021

Human Pose and Action Recognition参考文献 59被引用数 5

ひとこと要約

本論文は、RGB画像からのリアルタイム3Dハンドメッシュ再構成のための3段階パイプラインを提案する。このパイプラインは、関節予測、粗いメッシュ生成、および学習可能な頂点オフセットを用いた画像空間における微細なアライメントに分離する。微分可能レンダリングと軽量なグラフCNNを統合することで、ARアプリケーションにおけるハンドメッシュの精度と指レベルのメッシュ-画像アライメントにおいて最先端の性能を達成するとともに、一般消費者向けGPUでもリアルタイム推論を実現する。

ABSTRACT

3D hand-mesh reconstruction from RGB images facilitates many applications, including augmented reality (AR). However, this requires not only real-time speed and accurate hand pose and shape but also plausible mesh-image alignment. While existing works already achieve promising results, meeting all three requirements is very challenging. This paper presents a novel pipeline by decoupling the hand-mesh reconstruction task into three stages: a joint stage to predict hand joints and segmentation; a mesh stage to predict a rough hand mesh; and a refine stage to fine-tune it with an offset mesh for mesh-image alignment. With careful design in the network structure and in the loss functions, we can promote high-quality finger-level mesh-image alignment and drive the models together to deliver real-time predictions. Extensive quantitative and qualitative results on benchmark datasets demonstrate that the quality of our results outperforms the state-of-the-art methods on hand-mesh/pose precision and hand-image alignment. In the end, we also showcase several real-time AR scenarios.

研究の動機と目的

• ARアプリケーションにおけるポーズ、形状、画像空間アライメントの高精度を実現するリアルタイム3Dハンドメッシュ再構成の課題に対処すること。
• 反復的精錬に起因するリアルタイム性能の欠如や、速度を犠牲にして画像アライメントを放棄する既存手法の限界を克服すること。
• 指レベルのメッシュ-画像アライメントの向上により、現実的なハンド・オブジェクトのオクルージョンと自然なARインタラクションを可能にすること。
• 高速な推論を実現しつつアライメント品質を損なわない、軽量で分離型のアーキテクチャを設計すること。

提案手法

• 本手法は、3Dハンドメッシュ再構成を3段階に分離する：関節予測（2D/3D関節とセグメンテーション）、粗いメッシュ生成、および頂点オフセット回帰による微細なアライメント。
• 局所的特徴投影ユニットとグローバル特徴ブロードキャストユニットが、各メッシュ頂点のマルチスケール特徴を抽出し、リファイン段階におけるオフセット予測を支援する。
• 小さなグラフCNNが、局所的およびグローバル特徴を統合して各頂点のオフセットベクトルを回帰し、効率的かつ正確なメッシュ精錬を実現する。
• 微分可能レンダリング損失（$\mathcal{L}_{\textrm{render}}$）を用いて、再構成されたメッシュと入力画像間の指レベルのアライメントを監視する。
• 損失関数には、セグメンテーション損失（$\mathcal{L}_{\textrm{sil}}$）、メッシュ再構成損失、および微分可能レンダリング損失が含まれており、アライメントと幾何形状を同時に最適化する。
• パイプライン全体はエンドツーエンドで学習され、一般消費者向けGPU上でリアルタイム推論にデプロイされる。

Figure 1: Comparing 3D hand meshes (top row) reconstructed by I2L-MeshNet [ 32 ] (ECCV 2020) and by our method. Taking these meshes to support AR interaction (bottom row), our predicted hand mesh delivers better finger-level alignment and more natural hand occlusion with the virtual ping pong racket

実験結果

リサーチクエスチョン

• RQ1 分離型で反復的でないパイプラインは、3Dハンドメッシュ再構成においてリアルタイム推論と高精度のメッシュ-画像アライメントの両方を達成できるか？
• RQ2 反復的最適化を伴わずに、グラフCNNを用いたオフセットベースの精錬は、指レベルのアライメントをどの程度向上できるか？
• RQ3 標準的なメッシュ再構成損失と比較して、微分可能レンダリングは画像空間アライメントをどの程度改善するか？
• RQ4 局所的およびグローバル特徴の集約は、リファイン段階における正確な頂点オフセット予測にどの程度寄与するか？

主な発見

• 提案手法はFreiHandベンチマークで92.95%の3Dハンドメッシュ精度を達成し、最先端手法を上回る。
• メッシュ-画像アライメント誤差を4.70 mmまで低減し、先行研究と比較して顕著に指レベルのアライメントが向上した。
• 除去実験では、リファイン段階またはオフセット回帰機構を削除すると、アライメント誤差が5.93 mmに増加し、その重要性が示された。
• 局所的およびグローバル特徴ユニットを両方備えた完全なパイプラインは、メッシュIoUが0.868を達成し、いずれかのコンponentを欠いたバリアントを上回った。
• 単一の一般消費者向けGPUで30 FPSで実行可能であり、実用的なARアプリケーションを可能にする。
• 可視化結果から、リングや水、ワルトリーなど、仮想オブジェクトとの現実的なハンド・オブジェクトのオクルージョンと自然なインタラクションが実現された。

Figure 2: Our proposed framework. From the input image with the user’s hand, the joint stage first extracts feature map $F_{\mathcal{I}}$ and sends it to two decoders, one for hand segmentation and the other for generating joint feature $F_{j}$ and predicting the hand-joint locations $J$ . Subsequen