[論文レビュー] Model-based 3D Hand Reconstruction via Self-Supervised Learning

Yujin Chen, Zhigang Tu+6 more|arXiv (Cornell University)|Mar 22, 2021

Hand Gesture Recognition Systems参考文献 33被引用数 8

ひとこと要約

本論文では、3Dアノテーションを一切不要とする自己教師付き3次元手再構成手法S²HANDを提案する。本手法は、ラベルなしRGB画像と検出された2次元キーポイントのみを用いてニューラルネットワークを訓練する。2次元-3次元整合性を保つための新しい損失関数と幾何的事前知識を活用することで、HO-3DおよびFreiHandデータセットにおいて、完全教師ありの最先端手法と同等の性能を達成した。

ABSTRACT

Reconstructing a 3D hand from a single-view RGB image is challenging due to various hand configurations and depth ambiguity. To reliably reconstruct a 3D hand from a monocular image, most state-of-the-art methods heavily rely on 3D annotations at the training stage, but obtaining 3D annotations is expensive. To alleviate reliance on labeled training data, we propose S2HAND, a self-supervised 3D hand reconstruction network that can jointly estimate pose, shape, texture, and the camera viewpoint. Specifically, we obtain geometric cues from the input image through easily accessible 2D detected keypoints. To learn an accurate hand reconstruction model from these noisy geometric cues, we utilize the consistency between 2D and 3D representations and propose a set of novel losses to rationalize outputs of the neural network. For the first time, we demonstrate the feasibility of training an accurate 3D hand reconstruction network without relying on manual annotations. Our experiments show that the proposed method achieves comparable performance with recent fully-supervised methods while using fewer supervision data.

研究の動機と目的

• 3次元手再構成における高価な3次元アノテーションへの依存を低減するため、自己教師付き学習を可能とする。
• 1枚のRGB画像から3次元手ポーズ、形状、テクスチャ、カメラ視点を同時に推定する。
• 真値の3次元ラベルの代わりに、ノイズの多い2次元キーポイント検出結果と画像テクスチャを教師信号として活用する。
• 2次元-3次元整合性損失と幾何的事前知識を導入することで、ノイズの多い教師信号に対するロバストネスを向上させる。
• 手動による3次元アノテーションがなくても、正確な3次元手再構成が可能であることを示す。

提案手法

• オフザシェルフの2次元キーポイント検出器（例：OpenPose）を用いて、ラベルなし画像からノイズを含む2次元キーポイントの教師信号を生成する。
• モデルベースのオートエンコーダーを採用し、入力画像から3次元手メッシュ、関節、形状、テクスチャ、カメラパラメータを予測する。
• 予測された3次元関節を再び画像平面に投影し、検出された2次元キーポイントと一致させることで、2次元-3次元整合性を強制する。
• 共有特徴を用いて2次元キーポイント推定と3次元再構成を同時に最適化する、新しい2次元-3次元整合性損失を導入する。
• 肢長制約や関節角正則化などの幾何的事前知識を組み込み、不適切な3次元手ポーズを防ぐ。
• 画像テクスチャと照明モデリングを活用し、3次元教師なしでもリアルなテクスチャ付き3次元手メッシュを生成する。

実験結果

リサーチクエスチョン

• RQ1 3次元アノテーションが一切ない状況でも、3次元手再構成を正確に学習できるか？
• RQ2 ノイズを含む2次元キーポイント検出結果は、3次元手再構成の教師信号としてどれほど有効か？
• RQ3 標準的な教師信号と比較して、ノイズの多い教師信号下でも2次元-3次元整合性損失が性能向上に寄与するか？
• RQ4 画像テクスチャと2次元キーポイント整合性を活用した自己教師付き学習は、完全教師あり手法と同等の性能を達成できるか？
• RQ5 極端なポーズ、遮蔽、複雑な照明下で、自己教師付き3次元手再構成の失敗モードは何か？

主な発見

• 提案手法は、HO-3DおよびFreiHandデータセットの両方で、完全教師ありの最先端手法と同等の3次元手再構成性能を達成した。
• 2次元-3次元整合性損失により、ベースライン学習に比べて2次元キーポイントブランチでMPJPEが5.4%低下し、3次元投影ブランチでは9.3%低下した。
• 特に遮蔽の多いHO-3Dデータセットにおいて、真値2次元キーポイントを用いた弱教師あり学習よりも、自己教師付きアプローチが優れた性能を示した。
• ノイズの多い2次元キーポイント検出に対してもロバストであることが確認され、2次元および3次元ブランチの共同最適化による性能向上が得られた。
• テクスチャモデリングにより視覚的リアリズムが向上したが、形状再構成の正確性に顕著な向上は見られず、現在の手メッシュおよび照明モデリングの限界を示唆した。
• 極端なポーズ、重度の遮蔽、複雑な皮膚の反射下では、主に2次元キーポイント検出の精度低下と粗い表面表現に起因する失敗事例が観察された。