[論文レビュー] Learning Gradient Fields for Shape Generation

Ruojin Cai, Guandao Yang+5 more|arXiv (Cornell University)|Aug 14, 2020

3D Shape Modeling and Analysis参考文献 61被引用数 9

ひとこと要約

本稿では、点群分布の対数密度の勾配場をスコアベース生成モデリングを用いて学習することで、3次元形状生成のための新規手法を提案する。予測された勾配場に沿って確率的勾配上昇を行うことで、高精細な点群を生成し、教師ありメッシュを必要とせずに表面を暗黙的に抽出する。自己符号化および生成の両タスクで最先端の性能を達成しており、入力が疎であっても同様に優れた性能を発揮する。

ABSTRACT

In this work, we propose a novel technique to generate shapes from point cloud data. A point cloud can be viewed as samples from a distribution of 3D points whose density is concentrated near the surface of the shape. Point cloud generation thus amounts to moving randomly sampled points to high-density areas. We generate point clouds by performing stochastic gradient ascent on an unnormalized probability density, thereby moving sampled points toward the high-likelihood regions. Our model directly predicts the gradient of the log density field and can be trained with a simple objective adapted from score-based generative models. We show that our method can reach state-of-the-art performance for point cloud auto-encoding and generation, while also allowing for extraction of a high-quality implicit surface. Code is available at https://github.com/RuojinCai/ShapeGF.

研究の動機と目的

• 固定サイズの生成、自己回帰的順序付け、敵対的訓練の制限を回避する柔軟でスケーラブルな3次元点群生成手法の開発。
• 3次元点群の背後にある分布を連続的密度場としてモデル化し、任意のサンプリングとトポロジカルな柔軟性を可能にする。
• トレーニング時に教師ありメッシュを必要とせず、学習済み勾配場から高品質な暗黙的表面再構築を実現する。
• 単純なL2損失目的関数を用いて、点群の自己符号化および生成タスクで最先端の性能を達成する。
• 入力点群が疎である場合や、サンプリングにおける事前分布の選択に敏感でない堅牢性の確認。

提案手法

• 深層ニューラルネットワークを用いて、対数密度場の勾配（スティーンスコア関数）を予測し、密度の勾配上昇方向をパラメータライズする。
• トレーニングにはノイズ除去スコアマッチングの目的関数を用い、入力点群から推定された勾配場と予測された勾配場との間でL2損失を計算する。
• サンプリングはランジュバンダイナミクスを用いる：繰り返し点群を勾配場に沿って摂動させ、高密度領域へ移動させる。
• サンプリング品質と収束性を向上させるために、アニールドランジュバンダイナミクスを活用する。
• 暗黙的表面は、学習済み密度場の等高線集合、特に対数密度勾配場のゼロレベル集合を解くことで抽出する。
• 符号付き距離関数や占有ラベルを必要とせず、点群データのみを用いてエンドツーエンドでトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 点群のみでトレーニングされたスコアベースモデルは、任意の点数の高品質かつ多様な3次元形状を生成できるか？
• RQ2 疎で不完全な点群から、対数密度の勾配場を効果的に学習できるか？
• RQ3 教師ありメッシュの監視なしに、高精細な暗黙的表面再構築が可能か？
• RQ4 従来の最先端モデルと比較して、自己符号化および生成タスクにおける性能は？
• RQ5 点群初期化における事前分布の選択に頼らずに、サンプリングプロセスが堅牢か？

主な発見

• 本モデルは、ShapeNetの全カテゴリで点群自己符号化および生成タスクにおいて最先端の性能を達成し、MMD、COV、1-NNAの指標で先行手法を上回る。
• Airplaneカテゴリでは、MMD-CDが1.332（×10⁻³）およびMMD-EMDが7.768（×10⁻²）を達成し、VAEベースラインの1.909および9.004を顕著に上回る。
• 600点程度の疎な点群でも強力な性能を維持でき、スキャンされた部分形状の高精細再構築が可能である。
• 事前分布の選択に頼らずに堅牢である：一様分布、正規分布、または1点からの初期化でも、質の高い結果が得られ、定性的な比較で示されている。
• 潜在空間の分離性が達成されており、T-SNE可視化により、類似した形状が学習済み128次元潜在コード空間に集約されている。
• 暗黙的表面抽出により、トレーニング時に教師あり表面を必要とせず、学習済み勾配場から直接高品質なメッシュが得られる。