[論文レビュー] Neural Points: Point Cloud Representation with Neural Fields for Arbitrary Upsampling

Wanquan Feng, Jin Li+3 more|arXiv (Cornell University)|Dec 8, 2021

3D Shape Modeling and Analysis被引用数 4

ひとこと要約

本稿では、ニューラルフィールドを用いて各点が局所的な連続的幾何形状を符号化する、Neural Points と呼ばれる新しいポイントクラウド表現を提案する。この手法により、優れた詳細保持性能を実現する任意の倍率でのアップサンプリングが可能となる。深層特徴と共有ニューラルフィールドを用いて、2次元パラメトリックドメインと3次元表面パッチの間の局所的同型写像を学習することで、Neural Points は多様な入力やノイズレベルに対しても強力な汎用性と耐性を示し、アップサンプリング分野で最先端の性能を達成する。

ABSTRACT

In this paper, we propose Neural Points, a novel point cloud representation and apply it to the arbitrary-factored upsampling task. Different from traditional point cloud representation where each point only represents a position or a local plane in the 3D space, each point in Neural Points represents a local continuous geometric shape via neural fields. Therefore, Neural Points contain more shape information and thus have a stronger representation ability. Neural Points is trained with surface containing rich geometric details, such that the trained model has enough expression ability for various shapes. Specifically, we extract deep local features on the points and construct neural fields through the local isomorphism between the 2D parametric domain and the 3D local patch. In the final, local neural fields are integrated together to form the global surface. Experimental results show that Neural Points has powerful representation ability and demonstrate excellent robustness and generalization ability. With Neural Points, we can resample point cloud with arbitrary resolutions, and it outperforms the state-of-the-art point cloud upsampling methods. Code is available at https://github.com/WanquanF/NeuralPoints.

研究の動機と目的

• 従来の離散的ポイントクラウドには有限の解像度に制限され、微細な幾何的詳細を捉えることができないという表現能力の限界を解消すること。
• 異なる解像度要因やノイズを含む入力に対して一般化に失敗する既存の「離散的から離散的」なアップサンプリング手法の限界を克服すること。
• 局所的ニューラルフィールドモデリングにより、豊富な幾何的詳細を保持する連続的で解像度フリーなポイントクラウド表現を構築すること。
• 統合された局所的ニューラルフィールドからグローバルな連続的表面を構築することで、任意の倍率でのアップサンプリングを可能にすること。
• 実スキャンデータ、ノイズありデータ、LiDARデータなど多様なデータに対して、強靭性と汎用性を示すことを実証すること。

提案手法

• 入力ポイントクラウド内の各点は、ニューラルフィールドを介して2次元パラメトリックドメインからの連続的かつ一対一の写像として表される局所的3次元表面パッチに関連付けられる。
• 各点から局所的深層特徴が抽出され、それらがニューラルフィールドネットワークの条件入力として用いられ、局所的幾何を符号化する。
• ニューラルフィールドは2次元パラメトリックドメインと3次元局所的表面パッチの間で滑らかで逆写像可能な同型写像を学習する。
• 豊富な幾何的詳細を有する高解像度表面で共有ニューラルネットワークを学習させることで、多様な形状に一般化可能となる。
• すべての局所的ニューラルフィールドは、設計された統合戦略を用いて統合され、グローバルな連続的表面が再構築される。
• 連続的 Neural Points 表現からのサンプリングにより、任意解像度のポイントクラウドが生成され、解像度フリーなアップサンプリングが実現される。

実験結果

リサーチクエスチョン

• RQ1 ニューラルフィールドを用いて局所的な連続的幾何形状を符号化するポイントクラウド表現は、従来の離散的表現に比べてアップサンプリングタスクで優れた性能を示すか？
• RQ2 局所的深層特徴に条件付けられた共有局所的ニューラルフィールドの使用は、多様でノイズを含む入力において汎用性と耐性を向上させるか？
• RQ3 提案手法は、既存手法が劣化を示すような極めて大きな倍率（例：256×）でも高品質なアップサンプリングを達成できるか？
• RQ4 Neural Points 表現は、深度カメラやLiDARスキャンのような実世界のノイズあり・非一様サンプリングデータにおいて、どのように性能を発揮するか？
• RQ5 再トレーニングなしで、未観測のデータセットへの汎用性はどの程度達成できるか？

主な発見

• Neural Points は、PU-GAN や PU-GCN、Dis-PU などの既存手法を上回る、標準的なアップサンプリングベンチマークで最先端の性能を達成し、定量的指標と視覚的品質の両面で優れている。
• ベースライン手法が16×用に訓練されているのに対し、Neural Points は極端なアップサンプリング要因（例：256×）に対しても高品質な結果を維持する。
• iPhone X の深度センサーで取得した実スキャンデータにおいて、Neural Points は微細な幾何的特徴を保持しアーチファクトを回避するが、Dis-PU は幾何を維持できず、PU-Geo-Net は目に見える歪みを生じさせる。
• 再トレーニングなしで PU-GAN ベンチマークのような未観測データセットに対しても良好な汎用性を示し、定量的および定性的な両評価で最高の性能を達成する。
• ガウスノイズに対しても強い耐性を示し、他の手法がしわだらけや歪んだ結果を出す中で、滑らかで正確な表面を維持する。
• KITTI データセットの LiDAR スキャンに対しても高品質な結果を達成し、実世界の3次元センシングデータへの適用可能性を確認した。