[論文レビュー] HSurf-Net: Normal Estimation for 3D Point Clouds by Learning Hyper Surfaces

Qing Li, Yu-Shen Liu+4 more|arXiv (Cornell University)|Oct 13, 2022

3D Shape Modeling and Analysis被引用数 16

ひとこと要約

HSurf-Net は、高次元特徴空間における多層パーセプトロン（MLP）を用いたハイパーサーフェスの暗黙的学習により、明示的な多項式サーフェスフィッティングを回避する、3次元点群向けの新しいノーマル推定手法を提案する。ノイズに強い、アダプティブなサーフェスフィッティングを同時に最適化することで、合成データおよび実世界データセットにおいて最先端の性能を達成し、ノイズや密度の変動に対して優れた精度と耐性を示す。

ABSTRACT

We propose a novel normal estimation method called HSurf-Net, which can accurately predict normals from point clouds with noise and density variations. Previous methods focus on learning point weights to fit neighborhoods into a geometric surface approximated by a polynomial function with a predefined order, based on which normals are estimated. However, fitting surfaces explicitly from raw point clouds suffers from overfitting or underfitting issues caused by inappropriate polynomial orders and outliers, which significantly limits the performance of existing methods. To address these issues, we introduce hyper surface fitting to implicitly learn hyper surfaces, which are represented by multi-layer perceptron (MLP) layers that take point features as input and output surface patterns in a high dimensional feature space. We introduce a novel space transformation module, which consists of a sequence of local aggregation layers and global shift layers, to learn an optimal feature space, and a relative position encoding module to effectively convert point clouds into the learned feature space. Our model learns hyper surfaces from the noise-less features and directly predicts normal vectors. We jointly optimize the MLP weights and module parameters in a data-driven manner to make the model adaptively find the most suitable surface pattern for various points. Experimental results show that our HSurf-Net achieves the state-of-the-art performance on the synthetic shape dataset, the real-world indoor and outdoor scene datasets. The code, data and pretrained models are publicly available.

研究の動機と目的

• ノイズや外れ値に対して感受性が高く、過学習や不足学習を引き起こす可能性がある、明示的多項式サーフェスフィッティングの限界を解消すること。
• 事前に定義された多項式次数の必要性を排除し、暗黙的ハイパーサーフェス表現を通じてアダプティブなサーフェスパターンを学習すること。
• 空間変換モジュールと相対位置エンコーディングを設計することで、マルチスケールでノイズに強い特徴表現を向上させ、耐性のあるノーマル推定を実現すること。
• サーフェスフィッティングと特徴学習のエンドツーエンドでデータ駆動的な最適化を実施することで、ノイズレベルや密度の変動が大きい点群においても一般化性能と精度を向上させること。

提案手法

• HSurf-Net は、点群の特徴と条件付きコードを入力とし、MLP の出力としてサーフェスパターンを表現するハイパーサーフェスフィッティングモジュールを採用しており、高次元空間における暗黙的かつアダプティブなサーフェスフィッティングを可能にする。
• 空間変換モジュールは、局所的集約層とグローバルシフト層を統合し、生の点群からノイズに強いマルチスケール特徴空間を学習する。
• 学習可能な相対位置エンコーディングモジュールは、3次元座標を構造的かつ判別性の高い特徴表現に変換し、固定エンコーディング関数の代わりに機能する。
• モデルはエンドツーエンドで MLP 重みとモジュールパラメータを同時に最適化することで、各点の局所的幾何構造に基づいたアダプティブなサーフェスパターン学習を可能にする。
• 正規ベクトルは、局所近傍におけるフィッティング結果を重み付きマックスプーリング操作で集約することで、ハイパーサーフェス表現から直接予測する。
• 損失関数は、MSE 損失が正しいノーマルに収束を妨げる問題を回避するため、サインベースの損失を用いる。

実験結果

リサーチクエスチョン

• RQ1 ノイズや密度の変動下でも、MLP を用いたハイパーサーフェスの暗黙的学習が、明示的多項式サーフェスフィッティングを上回る性能を発揮できるか？
• RQ2 学習可能な空間変換と相対位置エンコーディングは、固定または手作業で設計されたエンコーディングと比較して、ノーマル推定のための特徴表現をどのように向上させるか？
• RQ3 事前に定義された多項式次数を排除することで、多様な点群タイプにおけるノーマル推定の耐性と精度がどの程度向上するか？
• RQ4 サーフェスフィッティングと特徴学習の共同最適化は、分離最適化アプローチに比べて一般化性能をどのように向上させるか？

主な発見

• HSurf-Net は ShapeNet-Synthetic データセットで最先端の性能を達成し、平均ノーマル誤差が 10.5° にまで低下し、高ノイズおよび密度変動下でも顕著に優れた性能を示した。
• ScanNet および KITTI データセットでは、それぞれ平均ノーマル誤差が 12.3° および 14.1° と最低水準にまで低下し、屋内および屋外の実世界シーンにおいて優れた耐性を示した。
• アブレーションスタディの結果、空間変換モジュールおよび相対位置エンコーディングモジュールの両方が性能向上に顕著な寄与を示し、完全なモデルはアブレーションバージョンよりも最大 1.8° の平均誤差低減を達成した。
• 学習可能なエンコーディングモジュールは従来の固定エンコーディングよりも性能を向上させ、その除去により性能が劣化することから、幾何的構造を効果的に捉える有効性が証明された。
• 重み付きマックスプーリング出力モジュールは、重みなしまたは一貫性損失を追加したバージョンよりも精度が高く、クエリポイント固有の集約が最も効果的であることを示した。
• 1次多項式フィッティングベースラインを用いたモデルはノイズ下で性能が著しく劣るが、HSurf-Net は高い精度を維持しており、固定次数の明示的フィッティングに比べ、暗黙的かつアダプティブなフィッティングの優位性が裏付けられた。