[論文レビュー] Geo-PIFu: Geometry and Pixel Aligned Implicit Functions for Single-view Human Reconstruction

Tong He, John Collomosse+2 more|arXiv (Cornell University)|Jun 15, 2020

3D Shape Modeling and Analysis参考文献 36被引用数 100

ひとこと要約

Geo-PIFuは、ジオメトリに整合した潜在ボクセル特徴とピクセルに整合した画像特徴を学習し、単一画像から衣服付き人間メッシュを再構成します。潜在3Dボクセル代理を正則化として用いることにより、グローバルトポロジーと局所表面ディテールの最先端性能を達成します。

ABSTRACT

We propose Geo-PIFu, a method to recover a 3D mesh from a monocular color image of a clothed person. Our method is based on a deep implicit function-based representation to learn latent voxel features using a structure-aware 3D U-Net, to constrain the model in two ways: first, to resolve feature ambiguities in query point encoding, second, to serve as a coarse human shape proxy to regularize the high-resolution mesh and encourage global shape regularity. We show that, by both encoding query points and constraining global shape using latent voxel features, the reconstruction we obtain for clothed human meshes exhibits less shape distortion and improved surface details compared to competing methods. We evaluate Geo-PIFu on a recent human mesh public dataset that is $10 imes$ larger than the private commercial dataset used in PIFu and previous derivative work. On average, we exceed the state of the art by $42.7\%$ reduction in Chamfer and Point-to-Surface Distances, and $19.4\%$ reduction in normal estimation errors.

研究の動機と目的

• 特徴の曖昧さとグローバル形状の正則性に対処することで、単一ビューの衣服付き人間再構成の改善を動機づける。
• 粗い占有体 proxyを用いて訓練されたジオメトリに整合した潜在ボクセル特徴を導入し、高解像度のメッシュ出力を正則化する。
• 3Dジオメトリ特徴と2Dピクセル特徴を融合して、グローバルトポロジーと局所表面ディテールの両方を改善する。

提案手法

• 結合されたジオメトリに整合した3D特徴とピクセルに整合した2D特徴でクエリポイントをエンコードする。
• 3D U-Netsを用いて入力画像を低解像度の潜在3Dボクセルグリッドにリフトアップし、ジオメトリに整合した特徴を生成する。
• 2D U-Netからピクセルに整合した特徴を抽出し、クエリポイントの投影ピクセル座標で補間する。
• 潜在ボクセル特徴上での三線形補間を使用して、各クエリポイントのジオメトリに整合したエンコーディングを取得する。
• 潜在ボクセル特徴を監視する粗い占有量ボリューム損失と、占有値の高周波クエリポイント損失を用いて訓練する。
• 画像Iと3D点Pを占有σに写像する暗黙的な表面関数f(I, P)を最適化し、L_geoとL_query損失を用いた段階的な訓練スケジュールで最適化する。

実験結果

リサーチクエスチョン

• RQ1 ジオメトリに整合した潜在ボクセル特徴とピクセルに整合した特徴を組み合わせることで、単一ビューの衣服付き人間再構成における局所的特徴の曖昧さを解消できるか？
• RQ2 潜在ボクセル特徴を介したグローバル形状代理は、再構成メッシュの信ぴょう性とトポロジーを改善するか？
• RQ3 Geo-PIFuにおける異なる特徴融合戦略は、グローバルトポロジーと局所表面ディテールの両方にどのように影響するか？

主な発見

Mesh	Normal	CD	PSD	Cosine	L2
DeepHuman	0.2088	11.928	11.246	0.2088	0.4647
PIFu	0.0914	2.604	4.026	0.0914	0.3009
Geo-PIFu (ours)	0.0682	1.742	1.922	0.0682	0.2603

• Geo-PIFuは、DeepHumanデータセットにおいて、Chamfer DistanceとPoint-to-Surface Distanceを前状State-of-the-artより42.7%低減させる。
• Geo-PIFuはPIFuと比較して法線推定誤差を平均で19.4%低減する。
• ジオメトリに整合した3D特徴とピクセルに整合した2D特徴の両方を用いると、どちらか一方を用いるよりもグローバルトポロジーと局所表面ディテールの両方が向上する。
• 粗い潜在ボクセル代理はグローバル形状を正則化し、手足の歪みなどのアーティファクトを低減する。
• アブレーション研究は、3Dと2D特徴の早期融合が、シンプルな実装で競争力のある性能を提供することを示している。