[論文レビュー] PUGeo-Net: A Geometry-centric Network for 3D Point Cloud Upsampling

Yue Qian, Junhui Hou+2 more|arXiv (Cornell University)|Feb 24, 2020

3D Shape Modeling and Analysis参考文献 17被引用数 12

ひとこと要約

PUGeo-Net は、表面の第一および第二基本形式を明示的にモデル化することで、正確な法線を備えた高密度で均一に分布した点を生成する幾何学的中心の深層学習フレームワークである。3×3 の変換行列 T を用いた局所的パラメトリックマッピングを学習し、第二基本形式からの法線方向のずれを用いて点を投影することで、4× から 16× のアップサンプリング要因において、精度と効率の両面で最先端の手法を上回る。同時に座標と法線の両方を同時に回帰する。

ABSTRACT

This paper addresses the problem of generating uniform dense point clouds to describe the underlying geometric structures from given sparse point clouds. Due to the irregular and unordered nature, point cloud densification as a generative task is challenging. To tackle the challenge, we propose a novel deep neural network based method, called PUGeo-Net, that learns a $3 imes 3$ linear transformation matrix $\bf T$ for each input point. Matrix $\mathbf T$ approximates the augmented Jacobian matrix of a local parameterization and builds a one-to-one correspondence between the 2D parametric domain and the 3D tangent plane so that we can lift the adaptively distributed 2D samples (which are also learned from data) to 3D space. After that, we project the samples to the curved surface by computing a displacement along the normal of the tangent plane. PUGeo-Net is fundamentally different from the existing deep learning methods that are largely motivated by the image super-resolution techniques and generate new points in the abstract feature space. Thanks to its geometry-centric nature, PUGeo-Net works well for both CAD models with sharp features and scanned models with rich geometric details. Moreover, PUGeo-Net can compute the normal for the original and generated points, which is highly desired by the surface reconstruction algorithms. Computational results show that PUGeo-Net, the first neural network that can jointly generate vertex coordinates and normals, consistently outperforms the state-of-the-art in terms of accuracy and efficiency for upsampling factor $4\sim 16$.

研究の動機と目的

• スパarsな入力をもとに、複雑な幾何的詳細や鋭い特徴を保持した均一で高密度の3次元点群を生成する課題に対処すること。
• アップサンプリングを特徴空間の生成タスクとして扱うが、幾何的モデリングを明示的に含まない既存の深層学習手法の限界を克服すること。
• 頂点座標と表面法線の両方を同時に予測する手法を開発し、その後続の表面再構築タスクにおいて不可欠な要因を実現すること。
• 画像超解像にインspされたアーキテクチャを越えて、原理的かつ整合的に離散微分幾何学を深層学習に統合すること。

提案手法

• 各入力点に対して、局所的表面パラメトリゼーションの拡張されたヤコビ行列を近似する 3×3 線形変換行列 T を学習し、2次元パラメトリックサンプルを3次元空間にマップする。
• データから学習された適応的2次元サンプリング点が、予測された変換行列 T を用いて3次元に持ち上げられ、2次元ドメインと3次元接平面との間の対応関係が保証される。
• 第二基本形式を学習し、各生成点における法線方向のずれ δ を計算することで、接平面から曲がった表面に点を投影する。
• 粗いから細かい段階への予測戦略により、反復的精錬によって初期予測を改善し、精度を向上させる。
• 表現学習を強化するために、特徴再キャリブレーションとマルチスケール特徴統合をネットワークに組み込む。
• 座標と法線の両方に対する共同監視により、幾何的整合性が向上するエンドツーエンドの学習が可能になる。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークが、微分可能で幾何学的注意を払った方法で、第一および第二基本形式を明示的にモデル化できるか。
• RQ2 変換行列 T を用いたパラメトリックマッピングを学習することで、特徴空間生成と比較して点群のアップサンプリングがどのように向上するか。
• RQ3 座標と法線の両方を同時に予測することで、表面再構築タスクにおける性能と実用性が向上するか。
• RQ4 固定グリッドサンプリングと比較して、適応的2次元サンプリングが鋭い特徴や幾何的詳細をどれほど効果的に保持するか。
• RQ5 ノイズが多い、または非一様に分布した入力点群に対しても、この手法はどれほど頑健か。

主な発見

• 4× から 16× のアップサンプリング要因において、ベンチマークデータセット上、PUGeo-Net は、Chamfer Distance (CD) が 0.323、Hausdorff Distance (HD) が 1.011 と、比較されたすべての手法の中で最低を記録した。
• アブレーションスタディにより、線形変換モジュールが極めて重要であることが確認され、これを削除すると CD が 25%（0.323 から 0.394 に）上昇した。これはその幾何的意義を示している。
• 座標と法線の両方を同時に回帰することで、座標のみの回帰よりも性能が向上し、CD が 1.8% 減少、HD が 1.0% 減少した。
• 予測された変換行列 T は、解析的ヤコビ行列と非常に近く、予測された法線ベクトルと真値の間の角度の 97% が 3 度未満であった。
• 滑らかな領域（例：単位球）では予測された法線方向のずれ δ の値が狭く、鋭いエッジ付近（例：単位立方体）では広がっていることが確認され、幾何的整合性が裏付けられた。
• PUGeo-Net はノイズが多い入力や非一様に分布した入力に対しても頑健であり、元の点および生成点の両方において高い忠実性と正確な法線を維持した。