[論文レビュー] Snowflake Point Deconvolution for Point Cloud Completion and Generation with Skip-Transformer

Xiang Peng, Xin Wen+5 more|arXiv (Cornell University)|Feb 18, 2022

3D Shape Modeling and Analysis被引用数 16

ひとこと要約

本稿では、スノーフレーク型の成長様式をとる階層的で再帰的な点群生成をモデル化する、Snowflake Point Deconvolution (SPD) を用いた、点群補完および生成のための新規フレームワークである SnowflakeNet を提案する。スノーフレーク型の成長を模倣することで、スケイルトランスフォーマーを統合し、複数レベルの空間的関係を学習することで、局所的に構造的で高精細な点群を生成する。本手法は、モデルアーキテクチャがコンactであるにもかかわらず、補完、アップサンプリング、生成の各タスクで最先端の性能を達成した。

ABSTRACT

Most existing point cloud completion methods suffer from the discrete nature of point clouds and the unstructured prediction of points in local regions, which makes it difficult to reveal fine local geometric details. To resolve this issue, we propose SnowflakeNet with snowflake point deconvolution (SPD) to generate complete point clouds. SPD models the generation of point clouds as the snowflake-like growth of points, where child points are generated progressively by splitting their parent points after each SPD. Our insight into the detailed geometry is to introduce a skip-transformer in the SPD to learn the point splitting patterns that can best fit the local regions. The skip-transformer leverages attention mechanism to summarize the splitting patterns used in the previous SPD layer to produce the splitting in the current layer. The locally compact and structured point clouds generated by SPD precisely reveal the structural characteristics of the 3D shape in local patches, which enables us to predict highly detailed geometries. Moreover, since SPD is a general operation that is not limited to completion, we explore its applications in other generative tasks, including point cloud auto-encoding, generation, single image reconstruction, and upsampling. Our experimental results outperform state-of-the-art methods under widely used benchmarks.

研究の動機と目的

• 点群生成の離散的かつ非構造的な性質により、不完全な3次元点群において細粒度の幾何的詳細を保持する課題に対処すること。
• 既存手法が複数のデコードレベルにわたる局所的な空間的関係を正しくモデル化できないという限界を克服すること。
• 補完以外のタスク（例：アップサンプリングや単一画像再構築）にも応用可能な汎用的な点群生成演算（SPD）を開発すること。
• 最小限のモデルサイズで強力な一般化性能を発揮する、高品質で構造的な点群生成を実現すること。

提案手法

• スノーフレークポイントデコンボリューション (SPD) は、複数の段階にわたり、親点群を再帰的に分割することで子点群を生成する。このプロセスは階層的かつスノーフレーク型の成長様式をとる。
• スケイルトランスフォーマーモジュールは、自己注意機構を用いて、以前の SPD 層から得られた空間的パターンを集約し、現在の段階での点群分割をガイドすることで、局所的構造の学習を強化する。
• SPD は、局所的受容野を定義するために k-近傍法 (k-NN) を用い、分割時の点群の局所的かつコンパクトな分布を保証する。
• スケイルトランスフォーマーは、デコード段階を跨いで点群間の多レベル空間的関係を学習し、鋭いエッジや滑らかな表面の予測精度を向上させる。
• 補助損失（例：反発力や一様性）を必要とせず、L2 サンプル距離 (CD) 損失を用いてエンドツーエンドで学習する。
• SPD は、補完、自己符号化、生成、再構築、アップサンプリングの複数の設定に応用可能であり、汎用性を示している。

実験結果

リサーチクエスチョン

• RQ1 SPD のような階層的・再帰的な点群生成メカニズムは、不完全な3次元点群において細かな幾何的詳細を効果的に回復できるか？
• RQ2 点群デコードにおける局所的構造予測を向上させるために、複数レベルに跨る点群間の空間的関係をどのようにモデル化できるか？
• RQ3 補完以外の多様な3次元生成タスクに効果的に応用可能な、単一の汎用的演算（SPD）を実現できるか？
• RQ4 マルチレベルデコードにおいて、標準的なアテンションやアテンションなしと比較して、スケイルトランスフォーマーは点群品質をどの程度向上させるか？
• RQ5 複数のベンチマークにおいて、最先端手法と比較して、定量的指標および視覚的忠実度の観点から、本モデルの性能はどの程度か？

主な発見

• SnowflakeNet は Completion3D および PCN ベンチマークで最先端の性能を達成し、L2 サンプル距離 (CD) およびハウスドルフ距離 (HD) の両方で既存手法を上回った。
• 最も遠い点サンプリング (FPS) 条件下でも、反発力や一様性損失を用いて学習された手法を含め、すべての比較手法の中で最高の CD および HD スコアを達成した。
• 明示的な一様性や反発力損失を用いていなくても、視覚的比較により、点群の一様性と表面忠実度が高く保たれていることが確認された。
• アップサンプリングタスクにおいても、PU-Net や PU-GAN や Dis-PU を上回り、特にランダムサンプリング条件下で顕著な優位性を示した。
• 競合手法と比較して、モデルサイズが顕著に小さく、高い効率性とパラメータ効率性を示した。
• 視覚的結果から、SnowflakeNet は鋭いエッジ、コーナー、滑らかな表面といった複雑な局所的構造を最もよく保持しており、正解形状に近い形状を再現した。