[論文レビュー] PU-GAN: a Point Cloud Upsampling Adversarial Network

Ruihui Li, Xianzhi Li+3 more|arXiv (Cornell University)|Jul 25, 2019

3D Shape Modeling and Analysis参考文献 45被引用数 12

ひとこと要約

PU-GANは、敵対的訓練を通じて豊富で均一な分布を学習することにより、スパarsで非一様な点群を向上させるGANベースの点群アップサンプリングネットワークを提案する。誤差フィードバックを備えたアップダウンアップ特徴拡張ユニットと自己注意メカニズムを導入し、合成データおよび実スキャンデータの両方で、分布の均一性、表面への近接性、3次元再構成品質の面で最先端の結果を達成した。

ABSTRACT

Point clouds acquired from range scans are often sparse, noisy, and non-uniform. This paper presents a new point cloud upsampling network called PU-GAN, which is formulated based on a generative adversarial network (GAN), to learn a rich variety of point distributions from the latent space and upsample points over patches on object surfaces. To realize a working GAN network, we construct an up-down-up expansion unit in the generator for upsampling point features with error feedback and self-correction, and formulate a self-attention unit to enhance the feature integration. Further, we design a compound loss with adversarial, uniform and reconstruction terms, to encourage the discriminator to learn more latent patterns and enhance the output point distribution uniformity. Qualitative and quantitative evaluations demonstrate the quality of our results over the state-of-the-arts in terms of distribution uniformity, proximity-to-surface, and 3D reconstruction quality.

研究の動機と目的

• 3次元スキャンからのスパarsでノイズが多く非一様な点群のアップサンプリングの課題に対処すること。
• 潜在空間からの多様で現実的な点群分布を生成器が学習できるようにすること。
• アップサンプリングとデータ補完、均一性向上を組み合わせることで点群品質を向上させること。
• 一般的な訓練失敗を回避する安定なGANフレームワークを設計すること。
• 分布の均一性、表面への近接性、3次元再構成忠実度の面で、既存手法を上回ること。

提案手法

• 生成器は誤差フィードバックと自己補正を備えたアップダウンアップ拡張ユニットを用い、特徴拡張を強化し、点群生成を改善する。
• 局所的なパッチ内の点間の特徴統合を強化するために、自己注意ユニットを統合する。
• 敵対的、均一性、再構成の項を組み合わせた複合損失関数を用い、エンドツーエンドの訓練をガイドする。
• 識別器は、実点群と生成点群を区別するように訓練され、不自然または非一様な出力を暗黙的に罰する。
• ネットワークは局所的な表面パッチ上で訓練されるため、グローバルな一貫性を保ちつつ局所的なアップサンプリングが可能になる。
• 推論時には、出力における均等な点群分布を保証するために、最も遠いサンプリングが用いられる。

実験結果

リサーチクエスチョン

• RQ1 GANベースのフレームワークは、スパarsで非一様な入力から、均一に分布した高品質な点群を効果的に学習して生成できるか？
• RQ2 アップダウンアップ拡張ユニットは、点群アップサンプリングにおける特徴表現と自己補正をどのように向上させるか？
• RQ3 自己注意メカニズムは、特徴統合と出力品質をどの程度向上させるか？
• RQ4 敵対的、均一性、再構成の項を含む複合損失関数は、より良い一般化性と安定性をもたらすか？
• RQ5 PU-GANは、最新の手法と比較して、実スキャンLiDARデータにおいてどの程度の性能を示すか？

主な発見

• PU-GANは、複数のベンチマークで分布の均一性、表面への近接性、3次元再構成品質の面で最高の性能を達成した。
• アブレーションスタディの結果、GANフレームワークを削除すると性能が最も著しく低下し、出力品質向上におけるその重要性が裏付けられた。
• 入力が512点未満、または最大1％のガウスノイズが加えられた場合でも、高い安定性と頑健性を維持した。
• オブジェクト分類タスクでは、PU-GANを用いてスパars点群をアップサンプリングすることで、ModelNet40上で分類精度が82.4％から83.8％に向上した。
• 可視化比較では、PU-GANが小さな穴を効果的に埋め込み、均一性を向上させ、PU-Net や MPU、および基本的なGANベースラインを上回った。
• ネットワークはパッチ単位での処理であるため、大きなギャップの処理には限界があることが示され、今後の研究ではマルチスケールまたはグローバルモデリングの導入が求められる。