[論文レビュー] Single Image 3D Hand Reconstruction with Mesh Convolutions

Dominik Kulon, Haoyang Wang+3 more|arXiv (Cornell University)|May 4, 2019

Human Pose and Action Recognition参考文献 41被引用数 16

ひとこと要約

本稿では、メッシュ畳み込みとスペクトルオートエナブラを用いて、非線形で軽量なグラフモーファブルモデルによる3次元手の形状を学習する、リアルタイム単一画像3次元手再構成システムを提案する。高解像度の手メッシュ上でトレーニングされたスペクトルデコーダーを、画像エンコーダーとカメラ回帰器と組み合わせることで、6倍少ないパラメータ数（2.5M対393,080）で、53 FPSのリアルタイム推論を達成しつつ、最先端の再構成精度を実現した。

ABSTRACT

Monocular 3D reconstruction of deformable objects, such as human body parts, has been typically approached by predicting parameters of heavyweight linear models. In this paper, we demonstrate an alternative solution that is based on the idea of encoding images into a latent non-linear representation of meshes. The prior on 3D hand shapes is learned by training an autoencoder with intrinsic graph convolutions performed in the spectral domain. The pre-trained decoder acts as a non-linear statistical deformable model. The latent parameters that reconstruct the shape and articulated pose of hands in the image are predicted using an image encoder. We show that our system reconstructs plausible meshes and operates in real-time. We evaluate the quality of the mesh reconstructions produced by the decoder on a new dataset and show latent space interpolation results. Our code, data, and models will be made publicly available.

研究の動機と目的

• SMPL や MANO のような線形統計モデルが非線形な手の変形や柔組織効果を捉えることの制限を解消すること。
• 高解像度の手メッシュ上でトレーニングされた教師なしスペクトルオートエナブラを用いて、軽量で非線形な3次元手形状事前分布を構築すること。
• 事前にトレーニングされたスペクトルデコーダーと画像エンコーダー、カメラ回帰器を組み合わせることで、単一のRGB画像からのリアルタイム3次元手メッシュ再構成を可能にすること。
• トレーニングおよび評価用に、現実的なポーズと形状の変動を有する高解像度・高忠実度の3次元手メッシュデータセットを新たに生成すること。
• 学習されたグラフベースのモーファブルモデルが、再構成品質と効率性の面で従来の線形モデルを上回ることを示すこと。

提案手法

• スケールとグローバルな向きを正規化した多数の3次元手メッシュ上でスペクトルオートエナブラをトレーニングし、手の形状の非線形な潜在空間表現を学習する。
• グラフラプラシアンを介してスペクトルドメインにおけるグラフ畳み込みニューラルネットワークを用い、メッシュ上での内在的畳み込みを実行することで、回転不変な特徴学習を可能にする。
• 事前にトレーニングされたスペクトルデコーダーを非線形統計的可変モデルとして固定し、それを学習済みの画像エンコーダーに接続して、単一の画像から潜在形状およびポーズパラメータを予測する。
• 生成されたメッシュを入力画像に一致させるために、別個の弱い透視投影カメラ回帰器をトレーニングするが、メッシュ生成器への勾配伝播をブロックすることで再構成品質を保持する。
• 1,000スキャンとPanoptic Studio 3Dアノテーションにフィットした高頂点数の手モデルを用いてトレーニングデータを合成し、Euler角のK-meansクラスタリングを用いてポーズのサンプリングを実施する。
• デコーダーの潜在空間を活用し、滑らかな補間と分離可能な形状／ポーズ表現を実現することで、妥当なメッシュ生成と可視化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 手メッシュ上でトレーニングされたスペクトルオートエナブラは、MANO や SMPL のような線形モデルよりも、より表現力のある非線形形状事前分布を学習できるか？
• RQ2 学習されたグラフモーファブルモデルは、ベースラインの線形モデルと比較して、単一画像からの3次元手再構成品質を向上させられるか？
• RQ3 高い再構成精度と多様なポーズ・形状への一般化能力を維持しながら、リアルタイム推論を達成できるか？
• RQ4 スペクトル畳み込みと空間畳み込みを比較した場合、細粒度の変形をモデル化する能力とパラメータ効率性において、どちらが優れているか？
• RQ5 オートエナブラの潜在空間が、形状およびポーズ要因の意味的補間と分離をどの程度可能にするか？

主な発見

• 提案されたスペクトルオートエナブラは、Panoptic DomeDb データセットにおいて2.33 mmのメッシュL1再構成誤差を達成し、地面真理として使用されたMANOに類似したモデル（2.56 mm）を上回った。
• スペクトルベースのジェネレータはパラメータ数が393,080（MANOに類似したベースラインの250万パラメータの6分の1）でありながら、329 FPSの高速推論を達成した。
• DenseNet-121を画像エンコーダーに用いたフルシステムは53 FPSで動作し、単一画像からのリアルタイム3次元手再構成を実現した。
• 潜在空間の補間により、指の長さや関節角の変化を含む多様な手の形状とポーズ間で滑らかで視覚的に妥当な遷移が得られた。
• スペクトルデコーダーのファインチューニングにより再構成誤差が2.30 mmまで低下し、モデルサイズを増大させずにエンドツーエンドトレーニングが性能向上に寄与することを示した。
• テストセットの困難なサンプルに対する定性的な結果から、本システムは困難なポーズや形状に対しても良好な一般化性能を示した。