[論文レビュー] Diffusion Probabilistic Models for 3D Point Cloud Generation

Shitong Luo, Wei Hu|arXiv (Cornell University)|Mar 2, 2021

3D Shape Modeling and Analysis参考文献 26被引用数 24

ひとこと要約

拡散ベースの確率モデルが、形状潜在量に条件づけられた逆マルコフ拡散過程を学習することにより3D点群を生成し、競争力のある生成および自己符号化性能を達成する。変分下界の目的と正規化フローによる潜在事前分布を用いる。

ABSTRACT

We present a probabilistic model for point cloud generation, which is fundamental for various 3D vision tasks such as shape completion, upsampling, synthesis and data augmentation. Inspired by the diffusion process in non-equilibrium thermodynamics, we view points in point clouds as particles in a thermodynamic system in contact with a heat bath, which diffuse from the original distribution to a noise distribution. Point cloud generation thus amounts to learning the reverse diffusion process that transforms the noise distribution to the distribution of a desired shape. Specifically, we propose to model the reverse diffusion process for point clouds as a Markov chain conditioned on certain shape latent. We derive the variational bound in closed form for training and provide implementations of the model. Experimental results demonstrate that our model achieves competitive performance in point cloud generation and auto-encoding. The code is available at \url{https://github.com/luost26/diffusion-point-cloud}.

研究の動機と目的

• 不規則な3D点群に対する堅牢な生成モデリングの動機付け。
• 形状潜在量で条件づけられた拡散ベースの逆過程を提案し、点群を生成する。
• 条件付き拡散モデルの訓練のための実用的な変分目的関数を導出する。
• 点群生成と自己符号化において競争力のある性能を示す。
• 教師なしタスクの表現学習能力を示す。

提案手法

• 点にガウスノイズを加えるマルコフ連鎖として順方向の拡散をモデル化する。
• 形状潜在 z で条件づけられた訓練可能なガウス・マルコフ核として逆拡散をモデル化する。
• 柔軟性のために形状潜在 prior p(z) を正規化フローでパラメータ化する。
• 解析解の変分下界と扱いやすい訓練目的を導出する。
• エンコーダ q(z|X) に PointNet を、z分布を変換するためにアフィン結合フローを使用する。
• 点群生成、自己符号化、および教師なし表現学習へのフレームワークの適用。

実験結果

リサーチクエスチョン

• RQ1 形状潜在量で条件づけられた拡散ベースの逆過程は、多様な3D点群を正確に生成できるか？
• RQ2 潜在変数 z で条件づけることは生成を改善し、正規化フローによる柔軟な事前分布を可能にするか？
• RQ3 点群上の拡散モデルを訓練する際、変分下界は扱いやすく効果的か？
• RQ4 提案手法は生成、自己符号化、表現学習タスクにおいて、最先端と比較してどの程度の性能を示すか？
• RQ5 潜在事前分布とエンコーダ設計が再構成と潜在表現に与える影響は何か？

主な発見

• 本モデルは点群生成と自己符号化において競争力のある性能を達成する。
• 形状潜在で条件づけられた場合、拡散ベースの逆過程は有意義な3D形状を生成できる。
• 正規化フローは潜在形状変数の柔軟な事前分布を提供し、表現力を向上させる。
• 訓練目的は扱いやすく、変分下界から導出される。
• エンコーダと拡散フレームワークは、教師なしタスクのために有意義な潜在表現をもたらす。
• 潜在空間の補間と可視化は、学習された表現に意味のある構造を示す。