[論文レビュー] Point Cloud GAN

Chunliang Li, Manzil Zaheer+3 more|arXiv (Cornell University)|Sep 27, 2018

3D Shape Modeling and Analysis被引用数 12

ひとこと要約

本稿では、潜在変数の事後分布推論と階層的で解釈可能なサンプリングプロセスを導入し、Wasserstein距離推定をタイトにするためのサンドイッチ型目的関数を備えた、3次元ポイントクラウド生成のための新規なGANフレームワークPC-GANを提案する。この手法はModelNet40で最先端の性能を達成し、ポイントクラウド生成品質の向上と、多様で転送可能な潜在表現の学習を実現した。

ABSTRACT

Generative Adversarial Networks (GAN) can achieve promising performance on learning complex data distributions on different types of data. In this paper, we first show a straightforward extension of existing GAN algorithm is not applicable to point clouds, because the constraint required for discriminators is undefined for set data. We propose a two fold modification to GAN algorithm for learning to generate point clouds (PC-GAN). First, we combine ideas from hierarchical Bayesian modeling and implicit generative models by learning a hierarchical and interpretable sampling process. A key component of our method is that we train a posterior inference network for the hidden variables. Second, instead of using only state-of-the-art Wasserstein GAN objective, we propose a sandwiching objective, which results in a tighter Wasserstein distance estimate than the commonly used dual form. Thereby, PC-GAN defines a generic framework that can incorporate many existing GAN algorithms. We validate our claims on ModelNet40 benchmark dataset. Using the distance between generated point clouds and true meshes as metric, we find that PC-GAN trained by the sandwiching objective achieves better results on test data than the existing methods. Moreover, as a byproduct, PC- GAN learns versatile latent representations of point clouds, which can achieve competitive performance with other unsupervised learning algorithms on object recognition task. Lastly, we also provide studies on generating unseen classes of objects and transforming image to point cloud, which demonstrates the compelling generalization capability and potentials of PC-GAN.

研究の動機と目的

• ポイントクラウドは順序のない集合データであり、明確な識別的制約がないため、標準的なGANを直接適用することが難しいという課題に対処すること。
• 複雑な3次元ポイントクラウド分布を学習でき、訓練の安定性と生成品質が向上する汎用的かつ拡張可能なGANフレームワークの開発。
• 下流タスク（例：オブジェクト認識）を支援できる、分離可能で解釈可能かつ転送可能なポイントクラウドの潜在表現の学習。
• 堅牢な潜在空間を用いて、未観測のオブジェクトクラスへの一般化やクロスモダリティ生成（例：画像からポイントクラウドへの変換）を可能にすること。

提案手法

• 潜在変数を構造的で解釈可能な方法で順序付きにサンプリングすることで、ポイントクラウドの幾何構造をモデル化する階層的ベイジアン生成モデルを導入する。
• 真の事後分布を潜在変数上に学習するための事後分布推論ネットワークを採用し、エンドツーエンドの学習を可能にする。
• 標準的な双対形式GAN目的関数よりもタイトなWasserstein距離推定を提供するサンドイッチ型目的関数を提案する。
• 階層的サンプリングプロセスとサンドイッチ型目的関数を組み合わせ、さまざまなGANアーキテクチャと互換性を持つ汎用フレームワークを構築する。
• 主に生成されたポイントクラウドと真値メッシュとの距離を、訓練および評価の主な指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 ポイントクラウドは集合的・順序のない性質を有するため、標準的なGANを直接適用できるか？
• RQ2 階層的かつ解釈可能なサンプリングプロセスは、3次元ポイントクラウドの学習と生成をどのように改善できるか？
• RQ3 提案されたサンドイッチ型目的関数は、既存のGAN目的関数よりもタイトなWasserstein距離推定を達成するか？
• RQ4 PC-GANで学習された潜在空間は、未観測のオブジェクトクラスへの一般化や画像からポイントクラウドへの翻訳を可能にするか？
• RQ5 分離可能な潜在表現は、微調整なしに非教師ありオブジェクト認識タスクで競争力のある性能を達成できるか？

主な発見

• サンドイッチ型目的関数で訓練されたPC-GANは、生成されたポイントクラウドと実際のメッシュとの距離を指標として測定した場合、ModelNet40ベンチマークで優れた生成品質を達成した。
• 微調整なしでオブジェクト認識タスクで競争力のある性能を示す、多様で分離可能な潜在表現を学習した。
• PC-GANは未観測のオブジェクトクラスへの一般化に優れており、ゼロショット生成における堅牢性を示した。
• フレームワークは画像からポイントクラウドへの翻訳を成功させ、クロスモダリティ生成の可能性を示した。
• サンドイッチ型目的関数はタイトなWasserstein距離推定をもたらし、訓練の安定性とサンプル品質の両方を向上させた。