[論文レビュー] BiHand: Recovering Hand Mesh with Multi-stage Bisected Hourglass Networks

Lixin Yang, Jiasen Li+3 more|arXiv (Cornell University)|Aug 12, 2020

Human Pose and Action Recognition参考文献 15被引用数 26

ひとこと要約

BiHand は、2次元キーポints とシルエット、3次元ジョイントと深度などの関連する幾何的ヒントを共同で最適化する、新しいバイセクティング設計を採用したエンドツーエンドでマルチステージの二分型時計型ネットワークを提案する。単一のRGB画像から3次元ハンドメッシュを回復する。RHDではAUC 0.951、STBでは0.997を達成し、自己遮蔽、断片化、悪質な照明条件下でも高いロバスト性を示す。

ABSTRACT

3D hand estimation has been a long-standing research topic in computer vision. A recent trend aims not only to estimate the 3D hand joint locations but also to recover the mesh model. However, achieving those goals from a single RGB image remains challenging. In this paper, we introduce an end-to-end learnable model, BiHand, which consists of three cascaded stages, namely 2D seeding stage, 3D lifting stage, and mesh generation stage. At the output of BiHand, the full hand mesh will be recovered using the joint rotations and shape parameters predicted from the network. Inside each stage, BiHand adopts a novel bisecting design which allows the networks to encapsulate two closely related information (e.g. 2D keypoints and silhouette in 2D seeding stage, 3D joints, and depth map in 3D lifting stage, joint rotations and shape parameters in the mesh generation stage) in a single forward pass. As the information represents different geometry or structure details, bisecting the data flow can facilitate optimization and increase robustness. For quantitative evaluation, we conduct experiments on two public benchmarks, namely the Rendered Hand Dataset (RHD) and the Stereo Hand Pose Tracking Benchmark (STB). Extensive experiments show that our model can achieve superior accuracy in comparison with state-of-the-art methods, and can produce appealing 3D hand meshes in several severe conditions.

研究の動機と目的

• 視覚的曖昧さと複雑なハンドジオメトリのため、単一のRGB画像からの3次元ハンドメッシュ再構築は、不適切な問題とされる。
• 2次元キーポイント、シルエット、深度、ジョイント回転などの複数の幾何的ヒントを中間の監視信号として統合することで、3次元ハンド推定の正確性とロバスト性を向上させる。
• 各ステージ内で密接に関連するが異なる幾何的表現を共同で最適化できる、新規のバイセクティングアーキテクチャを開発する。
• スパースな真値 MANO パラメータ監視の制限を克服するため、形状に配慮した逆運動学ネットワークの学習に、100万件の位置-回転ペアを合成する。
• 自己遮蔽、断片化、悪質な照明条件下でも、3次元ハンドメッシュ回復の最先端のパフォーマンスを達成する。

提案手法

• 2次元シーディング（SeedNet）、3次元リフト（LiftNet）、メッシュ生成（SIKNet）の3段階フレームワークを提案。各ステージで二分型時計型設計を採用し、2つの関連する幾何的入力を並列処理する。
• 各ステージで特徴フローを2つのブランチに分割するバイセクティング設計を導入。例：第1段階で2次元キーポイントとシルエット、第2段階で3次元ジョイントと深度マップ、第3段階でジョイント回転と形状パラメータ。これにより、補完的な幾何的詳細の共同最適化が可能になる。
• 予測された3次元ジョイント位置をMANOハンドモデルパラメータにマッピングする形状に配慮した逆運動学ネットワーク（SIKNet）を採用。ノイズや推定誤差に対するロバスト性が向上する。
• SIKNetの学習に完全な監視を可能にするために、100万件の合成された3次元ジョイント位置から回転パラメータへのペアを含む大規模な SIK-1M データセットを合成。
• 2次元キーポイント、シルエット、3次元ジョイント、深度マップ、MANOパラメータからの補助監視を含むマルチタスク損失を採用。これにより、学習の安定化と一般化性能の向上が図られる。
• 段階的学習戦略を採用。ステージごとの事前学習と、初期の高い学習率を1e-5として50エポックにわたるエンドツーエンドのファインチューニングを実施。

実験結果

リサーチクエスチョン

• RQ1 補完的な幾何的ヒントを共同でモデリングすることで、マルチステージでバイセクティングされたネットワークアーキテクチャは、単一RGB画像からの3次元ハンドメッシュ回復を改善できるか？
• RQ2 提案されたバイセクティング設計は、3次元ハンド推定の各ステージにおいて最適化の安定性とロバスト性を向上させるのにどの程度有効か？
• RQ3 形状に配慮した逆運動学ネットワークは、3次元ジョイント位置からMANOパラメータを予測する際の正確性をどの程度向上できるか？
• RQ4 実際のMoCapデータが不足する状況において、関節回転推定のための合成的大規模な監視が性能向上に顕著に寄与するか？
• RQ5 提案されたフレームワークは、自己遮蔽、断片化、低照度条件などの困難な現実世界のシナリオに一般化可能か？

主な発見

• BiHand は、Rendered Hand Dataset (RHD) でAUC 0.951を達成し、直接回帰や運動学的チェーンモデリングに基づく先行手法を上回る最先端のパフォーマンスを示した。
• Stereo Hand Pose Tracking Benchmark (STB) ではAUC 0.997を達成し、複数視点の複雑な設定下でも、優れたロバスト性と正確性を示した。
• アブレーションスタディの結果、深度マップとシルエットの予測ブランチの併用が3次元リフト性能を顕著に向上させた。特に、回転推定のためのSIKNetの追加による向上が最大であった。
• 自己遮蔽、断片化、悪質な照明条件ですら、質の高い妥当な3次元ハンドメッシュを生成できることを、定性的な結果が示した。
• SIK-1M の合成データセットにより、実際のMoCapデータが不足する中でSIKNetの学習に完全な監視が可能となり、これは極めて重要であった。
• バイセクティング時計型設計により、各補助ブランチを追加するたびに一貫した性能向上が得られ、最適化の安定性と正確性が向上したことが裏付けられた。