[論文レビュー] Progressive Point Cloud Deconvolution Generation Network

Le Hui, Rui Xu+3 more|arXiv (Cornell University)|Jul 10, 2020

3D Shape Modeling and Analysis参考文献 47被引用数 8

ひとこと要約

本稿では、1つの潜在ベクトルからエンド・ツー・エンドでマルチスケール点群を生成する、学習ベースのバイラテラル補間を組み込んだプログレッシブなデコンボリューションネットワークを提案する。空間的および特徴空間に配慮した補間と形状保持型 adversarial 損失を活用することで、あらゆるスケールで一貫した局所的およびグローバルな幾何構造を保証し、ShapeNet および ModelNet ベンチマークで最先端の性能を達成した。

ABSTRACT

In this paper, we propose an effective point cloud generation method, which can generate multi-resolution point clouds of the same shape from a latent vector. Specifically, we develop a novel progressive deconvolution network with the learning-based bilateral interpolation. The learning-based bilateral interpolation is performed in the spatial and feature spaces of point clouds so that local geometric structure information of point clouds can be exploited. Starting from the low-resolution point clouds, with the bilateral interpolation and max-pooling operations, the deconvolution network can progressively output high-resolution local and global feature maps. By concatenating different resolutions of local and global feature maps, we employ the multi-layer perceptron as the generation network to generate multi-resolution point clouds. In order to keep the shapes of different resolutions of point clouds consistent, we propose a shape-preserving adversarial loss to train the point cloud deconvolution generation network. Experimental results demonstrate the effectiveness of our proposed method.

研究の動機と目的

• 教師なしでエンド・ツー・エンドに高品質なマルチスケール点群を生成する課題に対処すること。
• 同じ潜在コードから生成された点群の異なるスケール間で幾何的整合性を維持すること。
• 不規則な点群構造を扱いにくく、スケールの一貫性に欠ける従来の 3D GAN やオートエンコーダーの限界を克服すること。
• デコンボリューションと補間を用いて粗いスケールから細かいスケールの特徴を段階的に構築する効率的なプログレッシブな生成フレームワークを開発すること。
• 局所的近傍統計を各スケールで一致させることで、構造的一致性を強制する新しい形状保持型損失を導入すること。

提案手法

• 低スケール入力から高スケール特徴マップを生成するために、スタックされたデコンボリューションブロックで構成されるプログレッシブなデコンボリューションネットワークを設計した。
• 点群データにおける空間的近接性と特徴類似性を同時にモデル化することで、特徴マップを補間する学習ベースのバイラテラル補間を導入した。
• 補間は、隣接点の 3D 座標と特徴埋め込みの両方から重みを学習し、補間中に局所的幾何構造を保持した。
• 複数層パーセプトロン（MLP）を用いて、複数スケールの特徴マップを連結したものを入力とし、最終的な点群の 3D 座標を予測した。
• 隣接スケール間の一致を保証するために、局所的近傍の平均および共分散を一致させることで、形状保持型 adversarial 損失を定式化した。
• 提案された形状保持型損失を用いて、標準的な GAN 損失や距離ベース損失に置き換えた GAN フレームワークで、ネットワークをエンド・ツー・エンドに訓練した。

実験結果

リサーチクエスチョン

• RQ1 学習ベースの補間を組み込んだプログレッシブなデコンボリューションネットワークは、1つの潜在ベクトルから高品質なマルチスケール点群を生成できるか？
• RQ2 トレーニング中に、同じ潜在コードから生成された点群の異なるスケール間での幾何的整合性をどのように強制できるか？
• RQ3 学習ベースのバイラテラル補間は、標準的な補間手法に比べて、局所的点群構造の保持に優れているか？
• RQ4 提案された形状保持型 adversarial 損失は、標準的な GAN、EMD、またはチェンファーディスタンス損失に比べて、構造的忠実性を維持する上で優れているか？
• RQ5 生成品質と計算コストのバランスを考慮した場合、バイラテラル補間における最適な近傍数（k）は何か？

主な発見

• 提案手法は、ShapeNet および ModelNet データセットで最先端の結果を達成し、複数スケールにおける CD、EMD、1-NNA の指標で最高の性能を示した。
• 形状保持型 adversarial 損失を用いることで、2048 点の 'Chair' カテゴリで Chamfer Distance（CD）が 1.71 にまで低下し、古典的な GAN、EMD、CD 損失を用いた手法を上回った。
• アブレーションスタディの結果、バイラテラル補間における近傍数（k）を 20 に設定した場合が、品質と計算コストのバランスにおいて最良の妥協点であった。
• 可視化結果から、形状保持型損失が、すべてのスケールで一貫した局所的およびグローバルな幾何構造を効果的に維持していることが確認された。
• プログレッシブなフレームワークにより、256 点から 2048 点へと段階的に詳細が向上した点群が生成され、局所的構造の忠実性が明確に向上した。
• 定量的評価結果から、PDGN はすべての評価指標でベースライン手法を上回り、特に 1-NNA および COV において顕著な向上を示し、近傍保持性およびカバー範囲の向上を示した。