[論文レビュー] MM-Hand: 3D-Aware Multi-Modal Guided Hand Generative Network for 3D Hand Pose Synthesis

Zhenyu Wu, Duc Hoang+6 more|arXiv (Cornell University)|Oct 2, 2020

Human Pose and Action Recognition参考文献 56被引用数 7

ひとこと要約

本稿では、3Dハンドポーズの監視情報を用いて、現実的で多様かつ3Dポーズを保持するハンド画像を合成する3Dに配慮したマルチモーダル生成ネットワークMM-Handを提案する。輪郭マップ、深度マップ、アテンションマスク、およびジオメトリックベースのカリキュラム学習戦略を統合することで、STBおよびRHPベンチマークで最先端の3Dハンドポーズ推定器の性能を一貫して向上させる高精細な合成データを生成する。STBで0.999のAUCを達成し、SOTA性能を実現した。

ABSTRACT

Estimating the 3D hand pose from a monocular RGB image is important but challenging. A solution is training on large-scale RGB hand images with accurate 3D hand keypoint annotations. However, it is too expensive in practice. Instead, we have developed a learning-based approach to synthesize realistic, diverse, and 3D pose-preserving hand images under the guidance of 3D pose information. We propose a 3D-aware multi-modal guided hand generative network (MM-Hand), together with a novel geometry-based curriculum learning strategy. Our extensive experimental results demonstrate that the 3D-annotated images generated by MM-Hand qualitatively and quantitatively outperform existing options. Moreover, the augmented data can consistently improve the quantitative performance of the state-of-the-art 3D hand pose estimators on two benchmark datasets. The code will be available at https://github.com/ScottHoang/mm-hand.

研究の動機と目的

• 正確な3Dハンドポーズアノテーションを備えた大規模な実世界データセットが限られているという課題に対処すること。これらのデータ収集は高コストかつ時間がかかる。
• 合成と実際のハンド画像のドメインギャップを埋めるために、写真のようにリアルで多様かつ3Dポーズを保持するハンド画像を生成すること。
• 3Dポーズ監視下で生成された合成データを用いたデータ拡張により、3Dハンドポーズ推定器の一般化性能と性能を向上させること。
• 指のオクルージョンや自己類似性といったドメイン固有の課題に対処するため、マルチモーダルな条件付き生成を用いること。
• モデルの収束性とリアリズムを向上させるために、段階的に訓練の難易度を上げる新規なジオメトリックベースのカリキュラム学習戦略を開発すること。

提案手法

• MM-Handは、ResNetベースの生成器とピクセルベースの識別器を備えた条件付き生成対抗ネットワーク（cGAN）を採用し、3Dハンドポーズを条件としてハンド画像を合成する。
• 3Dハンドポーズから導出される輪郭マップ、深度マップ、アテンションマスクを統合することで、構造的・外観的忠実性を向上させる。
• 外部データセットを用いて、ペアド深度マップと3Dポーズが存在するデータで深度マップ生成器を学習し、3Dポーズからリアルな深度監視を合成する。
• 新規なジオメトリックベースのカリキュラムトレーニング（GCT）戦略を導入し、単純なポーズ-画像ペアから始め、段階的に複雑さを増すことで、訓練の安定性とリアリズムを向上させる。
• 推論段階では、ターゲットポーズに最も類似する生成画像を選択する最近傍マッチング（INNM）戦略を用い、ポーズの一貫性を強化する。
• フレームワークはSTBおよびRHPデータセットで訓練および評価され、実データの訓練データを合成データで拡張する目的で使用される。

実験結果

リサーチクエスチョン

• RQ1 3Dハンドポーズのみを条件として、現実的で多様かつ3Dポーズを保持するハンド画像を生成する生成モデルは可能か？
• RQ2 輪郭、深度、アテンションといったマルチモーダルな監視情報を組み込むことで、生成されたハンド画像のリアリズムとポーズ正確性は向上するか？
• RQ3 ジオメトリックベースのカリキュラム学習戦略は、3Dに配慮したハンド画像生成器の訓練を向上させられるか？
• RQ4 MM-Handで生成された画像を用いたデータ拡張は、最先端の3Dハンドポーズ推定器の性能を向上させられるか？
• RQ5 合成と実際のハンド画像の間のドメインギャップは、ポーズ推定にどの程度影響を及ぼし、本手法によって是正可能か？

主な発見

• MM-Handで生成されたデータで訓練したHand3Dポーズ推定器は、RHPデータセットでAUC 0.929を達成し、すべての先行SOTA手法を上回った。
• STBデータセットでは、拡張モデルがAUC 0.999を達成し、新たなSOTA性能を樹立し、既存の最高手法でさえも上回った。
• アブレーションスタディにより、マルチモーダルガイダンス、アテンションマスク、カリキュラム学習、INNMの各要素が、一貫してポーズ推定性能の向上に寄与したことが確認された。
• MM-Handで生成された画像は強力な視覚的リアリズムとポーズの一貫性を示し、定性的な結果から正確な指の配置と自然な外観が得られた。
• ジオメトリックベースのカリキュラムトレーニング戦略は、特に初期訓練段階でモデルの収束性と一般化性能を顕著に向上させた。
• 本手法はドメインギャップを効果的に是正した。合成データを拡張に用いた際、RHPおよびSTBベンチマークの両方で一貫した性能向上が確認された。