[論文レビュー] End-to-end Hand Mesh Recovery from a Monocular RGB Image

Xiong Zhang, Qiang Li+3 more|arXiv (Cornell University)|Feb 25, 2019

Human Pose and Action Recognition参考文献 59被引用数 14

ひとこと要約

本稿では、形状と関節角度でパrameter化された微分可能パラメトリックなハンドモデルを用いて、1枚のRGB画像から3次元ハンドメッシュを回復するエンドツーエンドフレームワークHAMRを提案する。ハンドメッシュを形状と関節角度でパrameter化することにより、関節最適化に適した微分可能な再投影損失を実現し、オクルージョン下でも優れた性能を発揮する2D/3Dハンドポーズ推定およびメッシュ再構築を達成した。

ABSTRACT

In this paper, we present a HAnd Mesh Recovery (HAMR) framework to tackle the problem of reconstructing the full 3D mesh of a human hand from a single RGB image. In contrast to existing research on 2D or 3D hand pose estimation from RGB or/and depth image data, HAMR can provide a more expressive and useful mesh representation for monocular hand image understanding. In particular, the mesh representation is achieved by parameterizing a generic 3D hand model with shape and relative 3D joint angles. By utilizing this mesh representation, we can easily compute the 3D joint locations via linear interpolations between the vertexes of the mesh, while obtain the 2D joint locations with a projection of the 3D joints.To this end, a differentiable re-projection loss can be defined in terms of the derived representations and the ground-truth labels, thus making our framework end-to-end trainable.Qualitative experiments show that our framework is capable of recovering appealing 3D hand mesh even in the presence of severe occlusions.Quantitatively, our approach also outperforms the state-of-the-art methods for both 2D and 3D hand pose estimation from a monocular RGB image on several benchmark datasets.

研究の動機と目的

• 単一のRGB画像からの3次元ハンドメッシュ回復の課題に取り組む。これは、十分な実世界データが不足しており、視覚的曖昧性に起因する問題を抱える。
• 幾何的事前知識を暗黙的にエンコードする統一されたメッシュ表現を活用することで、2Dおよび3Dハンドポーズ推定の精度を向上させる。
• 微分可能な再投影損失を用いて、不完全または弱いラベル（2Dおよび3D）を用いたエンドツーエンド学習を可能にする。
• スレートの整合性と幾何制約を統合することで、オクルージョンおよびドメインシフトに対して耐性を高める。
• パラメトリックメッシュモデルが暗黙的にハンドの幾何を捉えることができることを示し、明示的な幾何制約の必要性を低減する。

提案手法

• HAMRは、形状と相対的な3次元関節角度によってパラメータ化された微分可能なパラメトリック3次元ハンドメッシュモデルを用い、メッシュ表現を生成する。
• 3次元関節位置はメッシュ頂点を介した線形補間により計算され、2次元関節位置は微分可能なカメラレイヤーを通じて3次元関節位置を投影することで得られる。
• 予測された2次元関節位置と真値の2次元キーポイントアノテーションとの間に微分可能な再投影損失を定義し、エンドツーエンド学習を可能にする。
• レンダリングされたメッシュ投影と真値のセグメンテーションマスクを一致させるため、スレート整合性損失（$\mathcal{L}_{seg}$）を統合する。
• カメラパラメータの監督（$\mathcal{L}_{cam}$）および幾何制約（$\mathcal{L}_{geo}$）の追加損失により、ポーズと形状の精度を向上させる。
• 弱い教師信号（2Dヒートマップと部分的な3Dアノテーションを含む）を用いて、RHDおよびSTBデータセットでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 微分可能なメッシュ表現は、RGB画像からの単眼ハンドメッシュ回復にエンドツーエンド学習を可能にするか？
• RQ2 パラメトリックメッシュモデルは、どの程度ハンドの幾何を暗黙的にエンコードし、明示的な幾何制約の必要性を低減するか？
• RQ3 深度情報やマルチビュー監視がなくても、オクルージョンや困難な実世界画像に一般化できるか？
• RQ4 スレート整合性と微分可能な再投影損失は、ドメインシフト下でのメッシュおよびポーズ推定精度を向上させるか？
• RQ5 メッシュ表現は、定性的および定量的ベンチマークにおいて、2D/3Dポーズ推定ベースラインを上回る性能を発揮するか？

主な発見

• HAMRはDexterデータセットにおいて2Dハンドポーズ推定でSOTA性能を達成し、[17, 27, 63] より高いAUCを記録した。
• RHDデータセットでは、ハンドセグメンテーションのmIoUが0.931に達し、DeepLab（0.924）およびBodyNet（0.852）をすべて上回った。
• 定性的な結果から、重度のオクルージョンや高ダイナミックレンジの照明下でも、高品質な3次元ハンドメッシュの再構築に成功した。
• アブレーションスタディの結果、パラメトリックメッシュモデルが性能向上に顕著な寄与を示した一方で、追加の幾何制約は僅かな改善に留まり、強力な暗黙的な幾何事前知識の学習が可能であることが示された。
• スレート整合性損失（$\mathcal{L}_{seg}$）とカメラ監督（$\mathcal{L}_{cam}$）の両方が性能向上に寄与しており、形状とポーズの精錬に有効であることが裏付けられた。
• 微分可能な再投影損失により、不完全な監視信号を用いたエンドツーエンド学習が効果的に可能となり、不完全なラベルに強い耐性を示した。