[論文レビュー] Rethinking Sampling in 3D Point Cloud Generative Adversarial Networks

He Wang, Zetian Jiang+4 more|arXiv (Cornell University)|Jun 12, 2020

3D Shape Modeling and Analysis参考文献 16被引用数 14

ひとこと要約

本稿は、3次元点群GANにおける主なボトル neck として、特にサンプリング感度に注目し、ディスクライマの感度を特徴付けるための「サンプリングスペクトル」を提案する。PointNet-Mix と呼ばれるサンプリングに配慮したディスクライマを導入し、幾何的忠実度と密度均一性の両立を図ることで、生成品質を著しく向上させ、複数の指標において既存モデルを上回る性能を発揮する。

ABSTRACT

In this paper, we examine the long-neglected yet important effects of point sampling patterns in point cloud GANs. Through extensive experiments, we show that sampling-insensitive discriminators (e.g.PointNet-Max) produce shape point clouds with point clustering artifacts while sampling-oversensitive discriminators (e.g.PointNet++, DGCNN) fail to guide valid shape generation. We propose the concept of sampling spectrum to depict the different sampling sensitivities of discriminators. We further study how different evaluation metrics weigh the sampling pattern against the geometry and propose several perceptual metrics forming a sampling spectrum of metrics. Guided by the proposed sampling spectrum, we discover a middle-point sampling-aware baseline discriminator, PointNet-Mix, which improves all existing point cloud generators by a large margin on sampling-related metrics. We point out that, though recent research has been focused on the generator design, the main bottleneck of point cloud GAN actually lies in the discriminator design. Our work provides both suggestions and tools for building future discriminators. We will release the code to facilitate future research.

研究の動機と目的

• 点群のサンプリングパターンが3次元点群GANの性能に与える見過ごされた影響を調査すること。
• 現在のディスクライマが、サンプリングに無関心（クラスタリングアーティファクトを引き起こす）または過敏（適切な生成をガイドできない）であることを同定すること。
• ディスクライマの感度を特徴付けるためのサンプリングスペクトルフレームワークを提案し、より良いディスクライマ設計を導くこと。
• 幾何とサンプリング忠実度の両方を評価できる「サンプリングスペクトルの指標」としての新しい知覚的評価指標を構築すること。
• PointNet-Mix と呼ばれる優れた、サンプリングに配慮したディスクライマを発見・検証し、評価されたすべての生成器の性能を向上させること。

提案手法

• サンプリングパターンへの感度に応じて、無関心から過敏まで変動するディスクライマを分類するための「サンプリングスペクトル」の概念を導入する。
• 幾何とサンプリング忠実度の両方を評価できる、補完的な「指標のサンプリングスペクトル」を形成する一連の知覚的指標を設計・評価する。
• グローバルな最大プーリングと学習可能なミキシング操作を組み合わせた、変更されたPointNetディスクライマであるPointNet-Mixを提案する。これにより、バランスの取れた感度が実現される。
• 生成器を排除した訓練実験を実施し、勾配挙動を隔離・分析することで、過敏なディスクライマが形状幾何よりもサンプリングパターンの是正を優先していることが明らかになった。
• 空間変換ネットワークを排除することで、安定したFPD指標を実装・検証し、指標の信頼性を向上させた。
• 線形カーネル密度推定（バンド幅=0.1）を用いて、訓練中の学習済み点群における局所的点密度を可視化および定量化した。

実験結果

リサーチクエスチョン

• RQ1 ディスクライマのサンプリング感度が、生成された3次元点群の品質とアーティファクトにどのように影響を与えるか？
• RQ2 効果的かつ現実的な3次元点群生成を導くために、ディスクライマがサンプリングスペクトル上で最適な位置はどこか？
• RQ3 既存の評価指標は、幾何とサンプリングパターン忠実度のどちらをどれほど重視しているのか？また、GANの性能を評価するのに十分か？
• RQ4 幾何学的学習とサンプリング均一性の両立を図れる新しいディスクライマアーキテクチャを設計できるか？PointNet-Maxを凌駕できるか？
• RQ5 PointNet++ や DGCNN といった高度なアーキテクチャを備えたディスクライマは、なぜ3次元点群GANでは機能しないのか？

主な発見

• サンプリングに無関心なディスクライマであるPointNet-Maxは、非均一な密度を検出できないため、深刻なクラスタリングアーティファクトを生成する。
• サンプリングに過敏なディスクライマとしてのPointNet++ と DGCNN は、効果的なディスクライマとして機能できず、サンプリングパターンの差を過剰に重視することで生成品質を劣化させる。
• 提案されたPointNet-Mixディスクライマは、最先端の性能を達成し、評価されたすべての生成器について、サンプリング関連指標で向上を示した。Deformデータセットでは76.29%のFPDスコアを記録した。
• 診断用の「生成器なし」実験から、サンプリングに過敏なディスクライマが形状幾何の改善よりもサンプリングパターンの是正を優先していることが明らかになった。
• 空間変換ネットワークを排除して実装された新しいFPD-Max指標は、エポック5990から6000の間で平均相対変化がわずか3.33%にとどまり、元のFPDと比較して49.91%の変化を示すものと比べて著しく安定している。
• 学習済み点群の可視化から、PointNet-Mix/AttentionはPointNet-Maxよりも高速に収束し、より均一な密度を実現していることが確認され、優れた誘導能力が裏付けられた。