[論文レビュー] HandTailor: Towards High-Precision Monocular 3D Hand Recovery

Jun Lv, Wenqiang Xu+4 more|arXiv (Cornell University)|Feb 18, 2021

Human Pose and Action Recognition参考文献 43被引用数 15

ひとこと要約

HandTailorは、1枚のRGB画像から高精度な単眼3Dハンドメッシュを回復する2段階フレームワークを提案する。この手法は、カメラパラメータを用いる場合と用いない場合の両方に対応できるCNNベースのハンドモジュールと、メッシュを~8ms/フレームで微調整する微分可能最適化ベースのタイルラー（tailor）モジュールを組み合わせる。本手法は最先端の性能を達成し、RHDベンチマークにおいてAUC_{5-20}をほぼ0.1向上させ、2D-3Dの一貫性が向上した。

ABSTRACT

3D hand pose estimation and shape recovery are challenging tasks in computer vision. We introduce a novel framework HandTailor, which combines a learning-based hand module and an optimization-based tailor module to achieve high-precision hand mesh recovery from a monocular RGB image. The proposed hand module unifies perspective projection and weak perspective projection in a single network towards accuracy-oriented and in-the-wild scenarios. The proposed tailor module then utilizes the coarsely reconstructed mesh model provided by the hand module as initialization, and iteratively optimizes an energy function to obtain better results. The tailor module is time-efficient, costs only 8ms per frame on a modern CPU. We demonstrate that HandTailor can get state-of-the-art performance on several public benchmarks, with impressive qualitative results on in-the-wild experiments. Code and video are available on our project webpage https://sites.google.com/view/handtailor.

研究の動機と目的

• 単眼3Dハンド再構成における2D-3D不一致の課題に取り組むこと。具体的には、予測された3Dメッシュが入力画像に一貫して投影されない問題を解決すること。
• カメラパラメータが与えられる場合（精度志向）と与えられない場合（屋外環境）の両方をサポートできる1つのモデルを実現すること。これには、2種類の投影方式の両立が不可欠である。
• エンドツーエンド学習を超えるメッシュ精度の向上を図ること。そのため、幾何的不整合を是正する軽量で微分可能なリファインメントモジュールを導入すること。
• さまざまな中間表現に基づく手法に統合可能なプラグアンドプレイ型のタイルラー（tailor）モジュールを設計すること。

提案手法

• ハンドモジュールは、1つのディープニューラルネットワークを用いて、透視投影と弱透視投影の両方の下で3Dハンドメッシュを予測する。カメラパラメータの有無に応じて適応可能である。
• タイルラー（tailor）モジュールは、ハンドモジュールから得られる粗いメッシュに対して、関節、幾何、アイデンティティ制約を組み合わせたエネルギー関数を最小化する微分可能最適化を実行する。
• エネルギー関数には、関節位置誤差（$\mathcal{E}_J$）、幾何的一致性（$\mathcal{E}_g$）、アイデンティティ保持（$\mathcal{E}_{id}$）の項が含まれる。また、深さ（$\mathcal{E}_d$）やシルエット（$\mathcal{E}_s$）の項もオプションで追加可能である。
• 最適化は、レンダリングされた深度とシルエットを監視として使用する微分可能レンダラーを介して高速化され、リファインメントプロセス全体に逆誤差伝搬が可能になる。
• タイルラー（tailor）モジュールは軽量設計であり、現代のCPU上では1フレームあたりわずか~8msの追加推論時間で実行可能である。
• 本フレームワークは、他の中間表現に基づく手法ともプラグアンドプレイで統合可能であり、再トレーニングなしに性能を向上させることができる。

実験結果

リサーチクエスチョン

• RQ1 同一の深層学習モデルが、アーキテクチャの変更なしに、透視投影と弱透視投影の両方を効果的に処理できるか？
• RQ2 微分可能で最適化ベースのリファインメントモジュールは、推論コストをほとんど増やさずに、入力画像との3Dメッシュの一貫性を著しく向上させられるか？
• RQ3 タイルラー（tailor）モジュールは、さまざまな中間表現に基づく手法に一般化可能であり、プラグイン部品としてその性能を向上させられるか？
• RQ4 タイルラー（tailor）モジュールは、再構成されたハンドメッシュにおける2D-3D投影不一致をどの程度低減できるか？

主な発見

• タイルラー（tailor）モジュールにより、RHDベンチマークにおけるAUC_{5-20}スコアが0.653から0.658に向上し、ほぼ0.1の向上を達成した。これは顕著な定量的向上を示している。
• 20イテレーションで、Intel i7-8700 CPU上での推論時間は8.02ms/フレームに達しており、最適化ベースのリファインメントであるにもかかわらず、高い効率性を示している。
• アブレーションスタディの結果、深さ制約（$\mathcal{E}_d$）とシルエット制約（$\mathcal{E}_s$）を追加すると性能が低下し、処理時間が増加することが判明した。これは、収束性や精度向上に寄与しないことを示している。
• 幾何的一致性（$\mathcal{E}_g$）とアイデンティティ保持（$\mathcal{E}_{id}$）の欠如は、不自然なメッシュ変形を引き起こすことが確認され、これらがリアルなハンドジオメトリとアイデンティティを維持するために重要であることが裏付けられた。
• 定性的な結果から、タイルラー（tailor）モジュールが再投影時に顕著に見える小さな指のずれを効果的に是正し、入力画像との視覚的一致性を向上させていることが確認された。
• プラグアンドプレイ評価により、複数のベースライン手法に対して、タイルラー（tailor）モジュールが性能向上をもたらすことが確認され、汎用性と再利用可能性の高さが裏付けられた。