[論文レビュー] DART: Articulated Hand Model with Diverse Accessories and Rich Textures

Daiheng Gao, Yuliang Xiu+7 more|arXiv (Cornell University)|Oct 14, 2022

Robot Manipulation and LearningEngineering被引用数 18

ひとこと要約

DARTは、325種類の手作業で作られたテクスチャと50体の3Dアクセサリーを備えた、写真のようにリアルな可動式ハンドモデルであり、MANOを拡張したものである。Unity GUIを介して高精細な合成ハンドデータを生成可能であり、80万枚の多様で正確にラベル付けされた画像からなるDARTsetを生成した。このデータセットは、ハンドポーズ推定およびメッシュ回復タスクにおける汎化性能を顕著に向上させる。

ABSTRACT

Hand, the bearer of human productivity and intelligence, is receiving much attention due to the recent fever of digital twins. Among different hand morphable models, MANO has been widely used in vision and graphics community. However, MANO disregards textures and accessories, which largely limits its power to synthesize photorealistic hand data. In this paper, we extend MANO with Diverse Accessories and Rich Textures, namely DART. DART is composed of 50 daily 3D accessories which varies in appearance and shape, and 325 hand-crafted 2D texture maps covers different kinds of blemishes or make-ups. Unity GUI is also provided to generate synthetic hand data with user-defined settings, e.g., pose, camera, background, lighting, textures, and accessories. Finally, we release DARTset, which contains large-scale (800K), high-fidelity synthetic hand images, paired with perfect-aligned 3D labels. Experiments demonstrate its superiority in diversity. As a complement to existing hand datasets, DARTset boosts the generalization in both hand pose estimation and mesh recovery tasks. Raw ingredients (textures, accessories), Unity GUI, source code and DARTset are publicly available at dart2022.github.io

研究の動機と目的

• 既存のハンドモデル（例：MANO）に現れるリアルなテクスチャやアクセサリーの欠如を是正し、写真のようにリアルなデータ合成を可能にする。
• ポーズ、照明、背景、アクセサリーなどのユーザー定義パラメータを用いて、正確な3Dアノテーションを備えた多様で高精細な合成ハンド画像を生成するためのパイプラインを提供する。
• 既存のベンチマークと補完する大規模で多様性に富み、高精細なハンドデータセット（DARTset）を構築する。
• 研究利用を目的として、テクスチャ、アクセサリー、ソースコード、GUI、DARTsetを含む完全な公開ツールキットを提供する。

提案手法

• 可動性の向上とアクセサリーの取り付けを可能にするために、手首を強化したテンプレートを用いてMANOを拡張した。
• 肌色、そばかす（イボ、傷）、メイク（タトゥー）、ネイルカラーをカバーする高解像度の手作業で作成された2Dアルベドテクスチャマップを325種類設計した。
• UVマップとメッシュモデルを備えた、50体の3Dテクスチャ付きアクセサリー（指輪、時計、ブレスレット、グローブなど）を生成し、写真のようにリアルなレンダリングを実現した。
• ユーザーがポーズ、カメラ、照明、背景、テクスチャ、アクセサリーなどのパrameterを指定できるUnityベースのGUIとレンダリングパイプラインを構築した。
• 80万枚の写真のようにリアルなハンド画像（DARTset）を生成し、対応する3Dハンドメッシュ、2D/3Dジョイントアノテーション、MANOパラメータを併記した。
• ポーズ推定およびメッシュ再構築タスクの評価に、標準的な指標（PA-MPJPE、PA-MPVPE）を用い、クロスデータセットトレーニングとテストを実施した。

実験結果

リサーチクエスチョン

• RQ1 豊富なテクスチャと多様なアクセサリーを備えた合成ハンドデータセットは、ハンドポーズ推定およびメッシュ回復における汎化性能を向上させるか？
• RQ2 アクセサリーとリアルなテクスチャの導入は、学習ベースのハンド再構築モデルの性能にどのように影響を与えるか？
• RQ3 DARTsetをFreiHANDなどの実世界データセットと組み合わせた場合、ドメインギャップをどの程度低減できるか？
• RQ4 DARTフレームワークとDARTsetは、屋外のハンド画像に一般化するモデルの学習に効果的に利用できるか？
• RQ5 DARTsetのポーズとテクスチャの多様性は、既存のベンチマークと比較して、モデルの汎化性能および耐性にどの程度寄与するか？

主な発見

• DARTsetは、ハンドポーズ推定およびメッシュ回復における汎化性能を顕著に向上させ、Integral PoseではPA-MPJPEが7.8%相対的に改善され、CMRでは5.9%改善された。
• DARTsetとFreiHANDを組み合わせたクロスデータセットトレーニングにより、CMRのFreiHAND上でのPA-MPVPEが8.9%低減され、DARTsetが実世界データセットと補完的であることを示した。
• CMRモデルは、混合データで学習した場合、DARTset上でのPA-MPJPE/PA-MPVPEが4.84/3.46 cmに達し、合成データセット上でも優れた性能を示した。
• METROは、混合データで学習した場合、FreiHAND上でのPA-MPJPE/PA-MPVPEが3.82/3.73 cmに達し、DARTsetのドメイン一般化への有効性を示した。
• アブレーションスタディにより、アクセサリー単体でもIntegral PoseではPA-MPJPEが7.8%、CMRでは5.9%改善されたことが確認され、アクセサリーがリアルさと性能に果たす重要性が裏付けられた。
• DARTsetのスケールが大きく、ポーズの多様性に富み、高精細なテクスチャを備えることで、既存のデータセットよりも優れた汎化性能を発揮し、特に実世界データと組み合わせた場合に顕著である。