[論文レビュー] PointFlow: 3D Point Cloud Generation with Continuous Normalizing Flows

Guandao Yang, Xun Huang+4 more|arXiv (Cornell University)|Jun 28, 2019

3D Shape Modeling and Analysis参考文献 56被引用数 72

ひとこと要約

PointFlow は 3D 点群を「分布の分布」という表現で表現する。形状分布と形状を前提とした点の分布を二重に積み上げた連続正規化フローを用い、エンドツーエンドの尤度ベースの訓練と高忠実度の生成を実現する。

ABSTRACT

As 3D point clouds become the representation of choice for multiple vision and graphics applications, the ability to synthesize or reconstruct high-resolution, high-fidelity point clouds becomes crucial. Despite the recent success of deep learning models in discriminative tasks of point clouds, generating point clouds remains challenging. This paper proposes a principled probabilistic framework to generate 3D point clouds by modeling them as a distribution of distributions. Specifically, we learn a two-level hierarchy of distributions where the first level is the distribution of shapes and the second level is the distribution of points given a shape. This formulation allows us to both sample shapes and sample an arbitrary number of points from a shape. Our generative model, named PointFlow, learns each level of the distribution with a continuous normalizing flow. The invertibility of normalizing flows enables the computation of the likelihood during training and allows us to train our model in the variational inference framework. Empirically, we demonstrate that PointFlow achieves state-of-the-art performance in point cloud generation. We additionally show that our model can faithfully reconstruct point clouds and learn useful representations in an unsupervised manner. The code will be available at https://github.com/stevenygd/PointFlow.

研究の動機と目的

• 3D 点群の確率モデルを「分布の分布（形状と形状内の点）」として学習する。
• 学習済み形状から任意の点数の点雲をサンプリングできるようにする。
• 正規化可能な流れを用いた変分推論でエンドツーエンド訓練を行い、厳密な尤度を計算する。
• 点群生成のための GAN ベース手法に対する原理的な代替手段を提供する。

提案手法

• 形状分布を latent shape 変数 z 上の連続正規化フロー（CNF）でモデリングする。
• 形状に対して条件付き CNF G_theta を用いて点分布をモデリングする。これは prior y( t0 ) ~ N(0,I) を z に条件付けて点 x に写像する。
• Gaussian prior w 上で学習可能な CNF F_psi を介した CNF ベースの形状 z の prior を用いる。
• prior項、再構成項、事後エントロピーを含む変分下限（ELBO）で訓練する。
• F_psi を介して z をサンプルし、次に z を条件付けた G_theta で点を生成する。ガウス prior から開始する。
• CNF 密度推定による厳密な対数尤度とエンドツーエンド最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 分布の分布フレームワーク（各形状ごとに形状と点） は点群生成の品質と柔軟性を改善するか。
• RQ2 形状 prior と点生成の両方に連続正規化フローを用いることで、原理的な尤度ベース訓練とより良い再構成が可能になるか。
• RQ3 PointFlow は標準的な指標や教師なし表現学習において GAN ベースの点群生成器とどのように比較されるか。

主な発見

• PointFlow は ShapeNet カテゴリ全体で点群生成の最先端性能を達成し、1-NNA や他の指標でベースラインを上回る。
• 学習済み形状から任意数の点をサンプルできるようになり、固定サイズの点集合の制約を解消する。
• 形状の CNF ベース priors と点生成の条件付き CNF により閉形式の尤度を実現し、GAN を用いずに安定したエンドツーエンド訓練を可能にする。
• このアプローチは下流タスク（例：ModelNet の分類）における競争力のある教師なし学習表現を生み出す。
• PointFlow はいくつかのベースラインよりはるかに少ないパラメータ数でありながら性能を維持または向上させる。