[論文レビュー] Spectral-GANs for High-Resolution 3D Point-cloud Generation

Sameera Ramasinghe, Salman Khan+2 more|arXiv (Cornell University)|Dec 4, 2019

3D Shape Modeling and Analysis参考文献 36被引用数 7

ひとこと要約

本稿では、球面調和モーメントベクトル（SMVs）を用いてスパクタルドメインで動作する、新規な生成的敵対ネットワーク、Spectral-GANを提案する。この手法により、計算コストの増加を最小限に抑えつつ、高解像度の3次元点群を効率的かつスケーラブルに合成可能となる。FLOPsは4倍増加するが解像度は40倍向上し、単一の2次元画像からの高精細な生成および3次元再構築に役立つ判別性の高い自己教師あり特徴を学習可能である。

ABSTRACT

Point-clouds are a popular choice for vision and graphics tasks due to their accurate shape description and direct acquisition from range-scanners. This demands the ability to synthesize and reconstruct high-quality point-clouds. Current deep generative models for 3D data generally work on simplified representations (e.g., voxelized objects) and cannot deal with the inherent redundancy and irregularity in point-clouds. A few recent efforts on 3D point-cloud generation offer limited resolution and their complexity grows with the increase in output resolution. In this paper, we develop a principled approach to synthesize 3D point-clouds using a spectral-domain Generative Adversarial Network (GAN). Our spectral representation is highly structured and allows us to disentangle various frequency bands such that the learning task is simplified for a GAN model. As compared to spatial-domain generative approaches, our formulation allows us to generate arbitrary number of points high-resolution point-clouds with minimal computational overhead. Furthermore, we propose a fully differentiable block to transform from {the} spectral to the spatial domain and back, thereby allowing us to integrate knowledge from well-established spatial models. We demonstrate that Spectral-GAN performs well for point-cloud generation task. Additionally, it can learn {a} highly discriminative representation in an unsupervised fashion and can be used to accurately reconstruct 3D objects.

研究の動機と目的

• 3次元点群における冗長性と不規則性が深層生成モデルの性能を制限する課題に対処すること。
• モデルの複雑さを著しく増加させることなく、スケーラブルで高解像度の3次元点群生成を可能にすること。
• スパクタルドメインのGANフレームワークを用いて、3次元形状の判別性の高い自己教師あり表現を学習すること。
• 完全微分可能なスパクタル-空間変換ブロックを介して、空間ドメインの知識を統合すること。
• 学習済み特徴を用いて、単一の2次元画像からの最先端の3次元再構築性能を示すこと。

提案手法

• 3次元点群をスパクタルドメインで表現するために球面調和モーメントベクトル（SMVs）を用い、冗長性を低減するとともに置換不変性を実現する。
• SMVsの分布を学習することで、周波数帯域の分離を実現するスパクタルドメインのGANを訓練し、周波数成分の分離により生成タスクを単純化する。
• 完全微分可能なスパクタルから空間への変換およびその逆変換ブロックを導入し、空間ドメインの知識とガイダンスの統合を可能にする。
• 2段階の生成プロセスを採用：前方伝搬により粗い形状を生成し、逆方向伝搬により高周波数の詳細を精緻化する。
• 敵対的損失を用いてジェネレータとディスクラミネータをエンドツーエンドで訓練し、ディスクラミネータの中間特徴を自己教師あり表現学習に活用する。
• SMVsの最大次数Mを調整することで解像度のスケーラビリティを実現し、アーキテクチャの変更なしにn = 4M²個の点群を生成可能となる。

実験結果

リサーチクエスチョン

• RQ1 周波数成分の分離により、スパクタルドメインでの生成的モデリングが3次元点群生成を単純化できるか？
• RQ2 スパクタルドメインで動作するGANが、計算コストを最小限に抑えながら高解像度の3次元点群合成を達成できるか？
• RQ3 提案された微分可能なスパクタル-空間変換が、空間ドメインの事前知識の効果的統合を可能にするか？
• RQ4 ディスクラミネータが3次元再構築に有用な高次元の判別性の高い自己教師あり特徴を学習できるか？
• RQ5 Spectral-GANは単一の2次元画像から最先端の性能で3次元形状を再構築できるか？

主な発見

• Spectral-GANはFLOPsを4倍に増加させる一方で、出力解像度を40倍に向上（最大40,000点）し、優れたスケーラビリティを示した。
• ModelNet10およびIKEAデータセットにおける定性的・定量的評価により、最小限のアーティファクトで高精細な3次元形状を生成した。
• ディスクラミネータは、2値SVMを用いた分類でModelNet10で93.1％の正確度を達成し、強力な判別性の高い表現学習が可能であることを示した。
• 単一画像からの3次元再構築において、Spectral-GANはソファクラスで81.2％のmAP、ベッドクラスで71.4％のmAPを達成し、最先端手法を上回った。
• 逆方向伝搬により詳細の忠実度が顕著に向上し、前方伝搬のみでは捉えきれない微細構造が追加された。
• SMVの次数Mを調整するだけで、アーキテクチャの再トレーニングなしにさまざまな点群解像度で高い性能を維持した。