[論文レビュー] Shape Generation using Spatially Partitioned Point Clouds

Matheus Gadelha, Subhransu Maji+1 more|arXiv (Cornell University)|Jul 19, 2017

3D Shape Modeling and Analysis参考文献 20被引用数 5

ひとこと要約

本稿では、kdツリー順序付けを用いた空間的分割型ポイントクラウドにより、形状間で一貫したポイント順序付けを実現する、軽量でスケーラブルな3次元形状生成手法を提案する。PCAを用いて線形形状基底を導出し、形状係数の多モード分布をモデル化するためのGANを適用することで、PPCAおよび3D-GANベースラインと比較して優れた生成品質を達成した。モデルサイズは著しく小さく、トレーニング速度も高速であり、法線や色といったマルチ属性出力をサポートしている。

ABSTRACT

We propose a method to generate 3D shapes using point clouds. Given a point-cloud representation of a 3D shape, our method builds a kd-tree to spatially partition the points. This orders them consistently across all shapes, resulting in reasonably good correspondences across all shapes. We then use PCA analysis to derive a linear shape basis across the spatially partitioned points, and optimize the point ordering by iteratively minimizing the PCA reconstruction error. Even with the spatial sorting, the point clouds are inherently noisy and the resulting distribution over the shape coefficients can be highly multi-modal. We propose to use the expressive power of neural networks to learn a distribution over the shape coefficients in a generative-adversarial framework. Compared to 3D shape generative models trained on voxel-representations, our point-based method is considerably more light-weight and scalable, with little loss of quality. It also outperforms simpler linear factor models such as Probabilistic PCA, both qualitatively and quantitatively, on a number of categories from the ShapeNet dataset. Furthermore, our method can easily incorporate other point attributes such as normal and color information, an additional advantage over voxel-based representations.

研究の動機と目的

• 構造のないポイントクラウドから3次元形状を生成する課題に取り組む。これは、固有の順序がなく、標準的な畳み込みアーキテクチャと互換性がない。
• ボクセルベースの表現の限界を克服する。特に高解像度ではスケーリングが悪く、スパarsityのためメモリを無駄に消費する。
• kdツリーを用いた一貫性があり局所性を保つ順序付けを導入することで、ポイントクラウド上で有効な生成モデルの学習を可能にし、畳み込みネットワークの使用を促進する。
• 線形モデル（例：確率的PCA）の限界を克服し、深層生成ネットワークを用いて形状係数の複雑で多モードの分布をモデル化する。
• 法線や色といった追加のポイント属性を、同じフレームワーク内でスムーズに統合可能にすることで、生成形状の現実性と実用性を向上させる。

提案手法

• すべての3次元形状に共通する一貫性のあるポイント順序付けを実現するため、kdツリーを用いてポイントを空間的に分割・順序付けする。これにより局所性が保たれ、構造的な処理が可能になる。
• 順序付けられたポイントクラウドにPCAを適用し、線形形状基底とそれに対応する形状係数を導出することで、低次元の潜在表現を構築する。
• PCA再構成誤差を最小化するように繰り返し点の順序を最適化することで、基底の質と形状間での整合性を向上させる。
• 不完全な空間的整合性に起因する複雑で多モードの分布をモデル化するため、形状係数に生成対抗ネットワーク（GAN）をトレーニングする。
• 順序付けられたポイントリストに1次元畳み込みGANアーキテクチャを適用することで、GAN+PCAパイプラインの代わりに直接順序付きシーケンスから生成する。
• 空間座標に加えて表面法線、色、テクスチャ座標を含む拡張された表現を用いることで、マルチ属性生成を可能にする。

実験結果

リサーチクエスチョン

• RQ1 kdツリーによる空間的一致性のあるポイントクラウドの順序付けは、深層学習アーキテクチャを用いた効果的な3次元形状生成を可能にするか？
• RQ2 kdツリー順序付けの局所性保持特性は、非局所性保持型の代替手法（例：x+y+zによるソート）と比較して、形状生成品質にどのように影響するか？
• RQ3 順序付けられたポイント座標に直接1次元畳み込みGANをトレーニングすることで、明示的な形状基底がなくても高品質な3次元形状を生成できるか？
• RQ4 形状係数の分布をGANでモデル化することで、確率的PCAのような線形モデルと比較して生成品質が顕著に向上するか？
• RQ5 提案手法は、高品質な生成を維持しながら、法線や色といったマルチ属性出力をサポートしつつ、効率的にスケーリング可能か？

主な発見

• 提案手法は、複数のShapeNetカテゴリにおいて、定性的および定量的評価の両面で、確率的PCAおよび3D-GANベースラインを上回った。
• 3D-GANベースラインと比較して、10倍以上高速かつ小型であり、計算コストを著しく削減しながらも、同等またはより優れた品質を達成した。
• kdツリー順序付けは不可欠である：x+y+zによる非局所性保持型の順序付けに置き換えると、図8に示すように生成品質が著しく劣化する。
• 順序付けられたポイントリストに直接1次元畳み込みGANをトレーニングすることで、妥当な形状が生成された。これは、kdツリー順序付けが局所的受容場の有効な使用を可能にしていることを示している。
• 潜在係数空間における形状補間は非線形かつ現実的な遷移を生み出し、モデルが複雑で分離可能な形状変異を捉えていることを示している。
• 本手法は自然にマルチ属性形状（法線、色など）の生成をサポートしており、これはボクセルベースのGANではネイティブにサポートされていない。