[論文レビュー] SR-Affine: High-quality 3D hand model reconstruction from UV Maps.

Ping Chen, Dong Yang+4 more|arXiv (Cornell University)|Feb 7, 2021

Hand Gesture Recognition Systems被引用数 1

ひとこと要約

本稿では、重度の隠蔽や複雑なポーズといった困難な状況下でも高品質な3Dハンド再構築を実現する2段階手法、SR-Affineを提案する。まず、エンコーダ・デコーダネットワーク（AffineNet）を用いてMANOハンドパラメータを予測し、次にUVマップベースのスーパーレゾリューションネットワーク（SRNet）を用いて点群を精緻化することで、FreiHANDおよびHO3Dベンチマークで最先端の性能を達成した。

ABSTRACT

Under various poses and heavy occlusions,3D hand model reconstruction based on a single monocular RGB image has been a challenging problem in computer vision field for many years. In this paper, we propose a SR-Affine approach for high-quality 3D hand model reconstruction. First, we propose an encoder-decoder network architecture (AffineNet) for MANO hand reconstruction. Since MANO hand is not detailed, we further propose SRNet to up-sampling point-clouds by image super-resolution on the UV map. Many experiments demonstrate that our approach is robust and outperforms the state-of-the-art methods on standard benchmarks, including the FreiHAND and HO3D datasets.

研究の動機と目的

• 重度の隠蔽や複雑なポーズ下における単眼RGB画像からの正確な3Dハンド再構築の課題に対処すること。
• MANOハンドモデルの限られた詳細性を超えて再構築品質を向上させること。
• UVマップスーパーレゾリューションを活用して3Dハンドメッシュの幾何的詳細を向上させること。
• 標準的な3Dハンド再構築ベンチマークで強固かつ最先端の性能を達成すること。

提案手法

• 単一のRGB画像からMANOハンドパラメータを回帰するための新規エンコーダ・デコーダネットワーク、AffineNetを提案する。
• 本手法は、高解像度の3Dハンド再構築をガイドするため、UVマップを監視信号として用いる。
• SRNetを導入し、UVマップの画像スーパーレゾリューションを実行することで、低解像度点群をアップサンプリングする。
• MANOベースの幾何とUVベースのスーパーレゾリューションを組み合わせることで、元のMANO解像度を超えたメッシュ詳細を精緻化する。
• 3Dハンド形状とポーズの正確性を向上させるために、マルチステージ最適化目的関数を用いてエンドツーエンドで訓練する。
• 本手法は、FreiHANDおよびHO3Dを含む標準ベンチマーク上で評価され、強健性と性能の妥当性が検証された。

実験結果

リサーチクエスチョン

• RQ1 重度の隠蔽や複雑なポーズ下において、単一のRGB画像から高品質な3Dハンドモデルを再構築できるか？
• RQ2 UVマップスーパーレゾリューションは、MANOモデルの解像度を超えて3Dハンドメッシュの幾何的詳細をどのように向上させるか？
• RQ3 MANOベースの回帰とUVベースのスーパーレゾリューションを組み合わせることで、従来手法を上回る再構築品質が得られるか？
• RQ4 本手法は、多様なハンドポーズおよび隠蔽状況にどの程度一般化可能か？

主な発見

• 提案手法のSR-Affineは、FreiHANDベンチマークで最先端の性能を達成し、従来手法を上回る3Dハンド再構築精度を示した。
• 本手法は重度の隠蔽や複雑なハンドポーズに対しても強健であり、高い再構築忠実度を維持した。
• UVマップスーパーレゾリューションの統合により、ベースとなるMANOモデルの解像度を超えたメッシュ詳細が顕著に向上した。
• HO3Dデータセットにおける実験により、本手法の多様なハンドオブジェクト相互作用シナリオへの一般化能力が確認された。
• アブレーションスタディにより、AffineNetおよびSRNetの両コンポーネントが再構築品質の向上に有効であることが検証された。
• 3Dハンドメッシュ再構築指標（例：平均頂点誤差）において一貫した改善が得られた。