[論文レビュー] SoftFlow: Probabilistic Framework for Normalizing Flow on Manifolds

Hyeong‐Ju Kim, H. S. Lee+3 more|arXiv (Cornell University)|Jun 8, 2020

3D Shape Modeling and Analysis参考文献 28被引用数 46

ひとこと要約

SoftFlowは perturbed data の条件付き分布を学習して多様体上で正規化フローを訓練し、高品質サンプルを実現するとともにSoftPointFlowで3D点群へ拡張する。

ABSTRACT

Flow-based generative models are composed of invertible transformations between two random variables of the same dimension. Therefore, flow-based models cannot be adequately trained if the dimension of the data distribution does not match that of the underlying target distribution. In this paper, we propose SoftFlow, a probabilistic framework for training normalizing flows on manifolds. To sidestep the dimension mismatch problem, SoftFlow estimates a conditional distribution of the perturbed input data instead of learning the data distribution directly. We experimentally show that SoftFlow can capture the innate structure of the manifold data and generate high-quality samples unlike the conventional flow-based models. Furthermore, we apply the proposed framework to 3D point clouds to alleviate the difficulty of forming thin structures for flow-based models. The proposed model for 3D point clouds, namely SoftPointFlow, can estimate the distribution of various shapes more accurately and achieves state-of-the-art performance in point cloud generation.

研究の動機と目的

• データが低次元多様体上にある場合の次元ミスマッチ問題を動機付け、解決する。
• 正確なデータ分布ではなくノイズに条件付けられた摂動データをモデル化して流れを訓練する SoftFlow を提案する。
• SoftFlow が多様体構造を捉え、高品質なサンプルを生み出すことを示す。
• SoftFlow を 3D 点群に拡張して Thin 構造の生成を改善する SoftPointFlow を提案する。

提案手法

• データ点ごとにノイズ分布からノイズを摂動として加え、流れをノイズパラメータで条件付けする。
• 摂動データの条件付き分布をモデル化するノーマライジングフローを訓練し、摺動を減少させることでサンプリングを可能にする。
• ダイナミクスのノイズで条件付けることで連続的ノーマライジングフローに適用する（CNF 文脈）。
• SoftPointFlow では離散ノーマライジングフローへ適用し、3D点群と潜在形状変数をモデリングする。
• 潜在 S と点の自己回帰デコーディングステップを持つ二層アーキテクチャ（PriorFlow と DecoderFlow）を使用する。
• 合成多様体データと点群ベンチマークを用いて評価し、Glow、FFJORD、GANベースのベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 ノーマライジングフローは摂動条件付き分布を学習することで低次元多様体上のデータを正確にモデルできるか？
• RQ2 SoftFlow は多様体構造を忠実に反映したサンプルの生成を可能にし、モード崩壊や歪んだ幾何を回避できるか？
• RQ3 SoftFlow のアイデアは既存のフローベース手法と比べて薄い構造の3D点群生成を改善できるか？

主な発見

カテゴリ	モデル	CD	EMD
Airplane	l-GAN (EMD)	87.65	85.68
Airplane	PC-GAN	94.35	92.32
Airplane	PointFlow	75.68	75.06
Airplane	SoftPointFlow	70.92	69.44
Chair	l-GAN (EMD)	64.73	65.56
Chair	PC-GAN	76.03	78.37
Chair	PointFlow	60.88	59.89
Chair	SoftPointFlow	59.95	63.51
Car	l-GAN (EMD)	69.74	68.32
Car	PC-GAN	92.19	90.87
Car	PointFlow	60.65	62.36
Car	SoftPointFlow	62.63	64.71

• SoftFlow は多様体データ分布に密接に従う高品質サンプルを生成し、いくつかの合成多様体で Glow と FFJORD を上回った。
• SoftPointFlow は3D点群生成で最先端または競合的な結果を達成し、特に薄い構造の保存において優れている。
• SoftPointFlow は airplane, chair, car カテゴリで 1-NNA (CD/EMD) 指標が PointFlow および GAN ベースのベースラインより改善。
• 嗜好テストでは SoftPointFlow のサンプルがカテゴリ横断で PointFlow の再構成より一般的に好まれると示された。
• SoftFlow は離散・連続ノーマライジングフローの双方と統合可能な柔軟で広く適用可能なアプローチを提供する。