[論文レビュー] PU-Net: Point Cloud Upsampling Network

Lequan Yu, Xianzhi Li+3 more|arXiv (Cornell University)|Jan 21, 2018

3D Shape Modeling and Analysis参考文献 49被引用数 76

ひとこと要約

PU-Netは、データ駆動型でパッチベースのネットワークを提案し、マルチレベルの点特徴を学習して特徴空間で拡張し、結合再構成と反発損失によってより密な点集合を再構成することにより、3D点群のアップサンプリングを行う。

ABSTRACT

Learning and analyzing 3D point clouds with deep networks is challenging due to the sparseness and irregularity of the data. In this paper, we present a data-driven point cloud upsampling technique. The key idea is to learn multi-level features per point and expand the point set via a multi-branch convolution unit implicitly in feature space. The expanded feature is then split to a multitude of features, which are then reconstructed to an upsampled point set. Our network is applied at a patch-level, with a joint loss function that encourages the upsampled points to remain on the underlying surface with a uniform distribution. We conduct various experiments using synthesis and scan data to evaluate our method and demonstrate its superiority over some baseline methods and an optimization-based method. Results show that our upsampled points have better uniformity and are located closer to the underlying surfaces.

研究の動機と目的

• 点群アップサンプリングを、単純な補間とは異なるデータ駆動の問題として動機づける。
• マルチレベルの特徴集約によって局所ジオメトリとグローバルジオメトリを学習する、パッチベースのネットワークを開発する。
• 入力点ごとに複数の出力点を生成するための特徴空間における特徴拡張機構を提案する。
• 再構成（EMD）と反発項を組み合わせた結合損失によって、表面追従性と均一分布を強制する。

提案手法

• 事前の3Dモデルから複数のスケールで局所パッチを抽出し、ジオメトリの意味論を学習する。
• PointNet++に触発された階層学習とマルチレベル特徴集約を用いて点特徴を埋め込む。
• 冗長性を減らすために分離畳み込みを用いたサブピクセル畳み込み風の拡張で、点数を増やすために特徴を拡張する。
• 各点特徴ごとに全結合層を通じて出力点の3D座標を再構成する。
• 再構成のためのEarth Mover’s Distance (EMD)と均一分布を促進する反発損失の結合損失でエンドツーエンドを訓練する。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型ネットワークは、最適化ベースの方法よりも点群のアップサンプリングの局所ジオメトリパターンを学習できるか？
• RQ2 マルチレベル特徴集約は、単一スケールの特徴よりアップサンプリング品質を改善するか？
• RQ3 特徴空間拡張戦略は、出力点の均一性と表面追従性にどう影響するか？

主な発見

• PU-Netは、合成データおよび実測データで、ベースラインおよび最適化ベースの方法より表面追従性に優れる。
• 本手法は、定量的指標と視覚的比較によって示されるように、テストパッチ全体で点の分布の均一性を改善している。
• EMD再構成損失と反発損失の結合使用により、表面への適合性と出力点の均一性の双方が向上する。
• パッチベースで順序付けられていない点処理アプローチは、固定された点の順序を必要とせず高品質なアップサンプリングを実現できる。
• 反復的なアップサンプリングは、入力数の変動やノイズのある入力に対して頑健であり、表面のディテールを保持する。