[論文レビュー] 3D Hand Shape and Pose Estimation from a Single RGB Image

Liuhao Ge, Zhou Ren+5 more|arXiv (Cornell University)|Mar 3, 2019

Human Pose and Action Recognition参考文献 58被引用数 33

ひとこと要約

この論文は、Graph CNNベースのアプローチを提案し、単一のRGB画像から完全な3D手のメッシュと3D手のポーズを推定します。大規模な合成データセットで訓練し、実データの深度マップからの弱教師付きで微調整します。

ABSTRACT

This work addresses a novel and challenging problem of estimating the full 3D hand shape and pose from a single RGB image. Most current methods in 3D hand analysis from monocular RGB images only focus on estimating the 3D locations of hand keypoints, which cannot fully express the 3D shape of hand. In contrast, we propose a Graph Convolutional Neural Network (Graph CNN) based method to reconstruct a full 3D mesh of hand surface that contains richer information of both 3D hand shape and pose. To train networks with full supervision, we create a large-scale synthetic dataset containing both ground truth 3D meshes and 3D poses. When fine-tuning the networks on real-world datasets without 3D ground truth, we propose a weakly-supervised approach by leveraging the depth map as a weak supervision in training. Through extensive evaluations on our proposed new datasets and two public datasets, we show that our proposed method can produce accurate and reasonable 3D hand mesh, and can achieve superior 3D hand pose estimation accuracy when compared with state-of-the-art methods.

研究の動機と目的

• モノクルRGB画像からVR/ARアプリケーション向けに完全な3D手のメッシュ推定の必要性を動機づける。
• 単一画像から密な3D手のメッシュ頂点と3D手の関節を回帰するエンドツーエンドのフレームワークを開発する。
• 真値のメッシュとポーズを伴う大規模な合成データセットを監督信号として活用する。
• 合成と実世界のギャップを埋めるため、深度マップを用いた弱教師付き微調整戦略を導入する。
• 実用展開に適したリアルタイム対応の手法を公開する。

提案手法

• 入力された手中心のRGB画像から2Dヒートマップと画像特徴を抽出するために、2段重ねのアワーグラスネットワークを使用する。
• 特徴を潜在ベクトルにエンコードし、階層的なアップサンプリング型グラフアーキテクチャを用いたGraph CNNを介して3D手のメッシュ頂点を予測する。
• 固定の手のメッシュトポロジを事前定義し、潜在特徴から1280個の3Dメッシュ頂点を生成するためにグラフ畳み込みを行う。
• 再構成されたメッシュから簡略化したGraph CNN回帰器を用いて3D手の関節を線形回帰する。
• ヒートマップ、メッシュ、ポーズ損失を用いた大規模合成データセットで訓練し、実データには深度マップにメッシュをレンダリングして偽のground-truthメッシュを追加ガイダンスとして用いる弱教師付き微調整を行う。

実験結果

リサーチクエスチョン

• RQ1 Graph CNNベースのモデルは単一のRGB画像から直接完全な3D手メッシュ座標を生成できるか？
• RQ2 完全な3D手メッシュを組み込むことは、ジョイントのみのアプローチと比べて3D手のポーズ推定精度を改善するか？
• RQ3 合成データをどのように実世界のRGB手メッシュ推定の訓練に活用できるか、深度に基づく弱教師付きはドメインギャップをどう埋めるか？
• RQ4 偽のground-truthメッシュによる監督が深度マップでの微調整に与える影響は？
• RQ5 提案手法は一般的なGPUでリアルタイム性能を発揮できるか？

主な発見

• 本手法は正確で妥当な3D手メッシュを生成し、公開データセットで最先端手法と比較して優れた3D手ポーズ推定を達成する。
• Graph CNNベースのメッシュ生成は、直接のLBSやMANOベースのアプローチより手の形状変動や局所的な詳細をより良く表現する。
• 深度マップ損失と偽のground-truthメッシュ損失を用いた弱教師付き微調整は、実データで3D監督が利用不能な場合にポーズ推定を改善する。
• このアプローチはGPU上でリアルタイムに50fpsを超え、全メッシュ+ポーズ出力の平均実行時間は19.9 ms。
• 大規模な合成データセット（375,000枚の手RGB画像）にメッシュとポーズの注釈があり、効果的なエンドツーエンド訓練をサポートする。
• RHDとSTBデータセットでは、本手法は3D手ポーズのいくつかの最先端手法を上回り、特に3Dポーズ監督が限られている場合に顕著。