[論文レビュー] Learning Representations and Generative Models for 3D Point Clouds

Panos Achlioptas, Olga Diamanti+2 more|arXiv (Cornell University)|Jul 8, 2017

3D Shape Modeling and Analysis被引用数 538

ひとこと要約

本論文は深層オートエンコーダを用いて3D点群のコンパクトな潜在表現を学習し、その潜在空間で訓練された複数の生成モデル（生点GAN、潜在空間GAN、Gaussian Mixture Models）を検討する。新しい忠実度/カバレッジ指標により、潜在空間GMMがしばしば最良の性能を示す。

ABSTRACT

Three-dimensional geometric data offer an excellent domain for studying representation learning and generative modeling. In this paper, we look at geometric data represented as point clouds. We introduce a deep AutoEncoder (AE) network with state-of-the-art reconstruction quality and generalization ability. The learned representations outperform existing methods on 3D recognition tasks and enable shape editing via simple algebraic manipulations, such as semantic part editing, shape analogies and shape interpolation, as well as shape completion. We perform a thorough study of different generative models including GANs operating on the raw point clouds, significantly improved GANs trained in the fixed latent space of our AEs, and Gaussian Mixture Models (GMMs). To quantitatively evaluate generative models we introduce measures of sample fidelity and diversity based on matchings between sets of point clouds. Interestingly, our evaluation of generalization, fidelity and diversity reveals that GMMs trained in the latent space of our AEs yield the best results overall.

研究の動機と目的

• 3D点群に対して高い再構成品質と強い一般化能力をもたらすオートエンコーダ（AE）アーキテクチャを開発する。
• 潜在空間での補間・形状編集・補完といった意味的操作を可能にする。
• 3D点群の生成モデル（r-GAN、l-GAN、GMMs）の検討と、堅牢な評価指標による比較。
• 生成点群の忠実度、カバレッジ、多様性を測る指標を提案・検証する。

提案手法

• 2048点入力で動作する3D点群オートエンコーダを設計し、128次元の潜在ボトルネックを設ける。
• 順列不変性の損失（EMDまたはChamfer距離）を再構成目的として用いる（AE-EMDとAE-CD）。
• 2048x3の点群に直接訓練する生点GAN（r-GAN）を訓練する。
• AE潜在空間で潜在空間GAN（l-GAN）を訓練し、AEデコーダーでデコードして点群を生成する。
• AE潜在空間にGaussian Mixture Models（GMMs）を適合させ、デコーダーを介してサンプルを生成する。
• 生成モデルの評価指標を導入：Jensen-Shannon Divergence（JSD）、Coverage（COV-CD/EMD）、Minimum Matching Distance（MMD-CD/EMD）。
• ShapeNetデータで広範な実験を行い、クラス固有設定とマルチクラス設定を比較し、ChamferとEMDの忠実度を分析する。
• AE潜在空間での形状編集、補間、補完タスクを実演する。

実験結果

リサーチクエスチョン

• RQ1 3D点群に対して深層オートエンコーダはコンパクトで意味のある潜在表現をどれだけ学習できるか？
• RQ2 潜在空間または生データ上で、どの生成モデル（r-GAN、l-GAN、GMM）が最も高い忠実度とカバレッジを提供するか？
• RQ3 潜在空間モデルは3Dオブジェクトの意味的操作や形状補完を意味のある形で実現できるか？
• RQ4 生成タスクにおいて、EMDとChamferの異なる点推定指標は実践でどのように振る舞うか？
• RQ5 AE潜在空間の単純なGaussian Mixture Modelは3D点群生成において敵対的アプローチと競合できるか？

主な発見

• オートエンコーダは訓練データとテストデータ間のMMD-CD/MMD-EMDギャップが小さく、 unseen 形状への一般化能力を良好に達成する。
• 潜在表現は補間や属性操作などの意味的操作を可能にし、線形SVMによる競争力のある3D物体分類もサポートする。
• 潜在空間GANは生点GANより忠実度とカバレッジを改善するが、モード崩壊を起こしやすいことがある；WGAN手法は一部の問題を緩和する。
• AE潜在空間のGMMは強い忠実度と競争力のあるカバレッジを達成し、この設定でしばしば敵対的モデルに匹敵するか上回る。
• Chamfer距離は生成点群の評価で誤解を招くことがある一方、EMDベースの指標は視覚的忠実度と多様性とより一致する。
• ボクセルベースの生成モデルは同じオブジェクトクラスに対して点群中心アプローチと比較して忠実度とカバレッジで劣る。