[論文レビュー] Generative PointNet: Energy-Based Learning on Unordered Point Sets for 3D Generation, Reconstruction and Classification

Jianwen Xie, Yifei Xu+3 more|arXiv (Cornell University)|Apr 2, 2020

3D Shape Modeling and Analysis参考文献 53被引用数 7

ひとこと要約

本稿では、順序のない点群のためのエネルギーに基づく生成モデルであるGenerative PointNetを提案する。このモデルは、点の座標からエネルギー関数を学習するために、順序に不変なニューラルネットワークを用いる。GAN や VAE を用いずに、MCMC を用いた最尤推定による学習が可能であり、生成、再構築、分類の分野で、手動で設計された指標に依存せず統計的性質を一致させることで、最先端の結果を達成する。

ABSTRACT

We propose a generative model of unordered point sets, such as point clouds, in the form of an energy-based model, where the energy function is parameterized by an input-permutation-invariant bottom-up neural network. The energy function learns a coordinate encoding of each point and then aggregates all individual point features into an energy for the whole point cloud. We call our model the Generative PointNet because it can be derived from the discriminative PointNet. Our model can be trained by MCMC-based maximum likelihood learning (as well as its variants), without the help of any assisting networks like those in GANs and VAEs. Unlike most point cloud generators that rely on hand-crafted distance metrics, our model does not require any hand-crafted distance metric for the point cloud generation, because it synthesizes point clouds by matching observed examples in terms of statistical properties defined by the energy function. Furthermore, we can learn a short-run MCMC toward the energy-based model as a flow-like generator for point cloud reconstruction and interpolation. The learned point cloud representation can be useful for point cloud classification. Experiments demonstrate the advantages of the proposed generative model of point clouds.

研究の動機と目的

• 入力の順序に依存しない、順序のない点集合のための生成モデルの開発。
• 点群生成における手動で設計された距離指標への依存を排除し、エネルギー関数を用いて統計的性質を学習すること。
• 敵対的または変分的フレームワークを避けて、MCMC を用いた最尤推定によるエンドツーエンドの生成モデルの学習を可能にすること。
• 再構築および補間タスクのためのフローに類似た生成器として機能する短時間ランの MCMC を学習すること。
• 下流の分類タスクに有用な点群表現を学習すること。

提案手法

• 各点の座標を個別に符号化する、下位から上位への順序不変なニューラルネットワークを用いてエネルギー関数をパrameter化する。
• 微分可能で集約可能なメカニズムを用いて、個々の点特徴を全体の点群のグローバルエネルギー得点に統合する。
• 補助ネットワークを必要とせず、サンプリングと最適化が可能な、MCMC を用いた最尤推定学習でモデルを訓練する。
• 再構築および補間のためのフローに類似た生成器として機能する、短時間ランの MCMC プロセスを学習する。
• エネルギー関数を用いて統計的性質を定義し、観測されたデータ分布に一致させることで、点群の合成をガイドする。
• 判別的 PointNet アーキテクチャからモデルを導出することで、順序不変性と局所的特徴学習を維持する。

実験結果

リサーチクエスチョン

• RQ1 順序不変なバックボーンを備えたエネルギーに基づくモデルは、GAN や VAE に依存せずに、高品質な 3D 点群を生成できるか？
• RQ2 学習されたエネルギー関数は、リアルな生成を可能にするために、点群の統計的性質をどれほど的確に捉えられるか？
• RQ3 エネルギーモデルからの短時間ランの MCMC 推論は、再構築および補間のための有効な生成器としてどれほど機能するか？
• RQ4 エネルギー関数が学習する表現は、下流の点群分類タスクにおける性能を向上させられるか？
• RQ5 手動で設計された距離指標を用いないにもかかわらず、本モデルは既存の手法を上回る性能を 3D 生成および再構築で示せるか？

主な発見

• 提案された Generative PointNet は、手動で設計された指標に依存せず統計的性質を学習することで、3D 点群生成において最先端の性能を達成する。
• 短時間ランの MCMC プロセスを学習することで、再構築および補間のための効果的なフローに類似た生成器としての機能を果たす。
• モデルが学習するエネルギーに基づく表現は、ベンチマーク点群データセットにおける分類精度を向上させる。
• MCMC を用いた最尤推定による学習により、敵対的学習や変分近似を用いずに、多様で現実的な点群を生成できる。
• 順序不変アーキテクチャにより、入力点の順序に関係なく一貫した性能を発揮し、耐障害性と一般化性能が向上する。