[論文レビュー] 3D Point Cloud Denoising via Deep Neural Network based Local Surface Estimation

Chaojing Duan, Siheng Chen+1 more|arXiv (Cornell University)|Apr 9, 2019

3D Shape Modeling and Analysis参考文献 22被引用数 4

ひとこと要約

本稿では、3次元点群のノイズ除去のための深層学習ベースの手法であるニューラルプロジェクションデノイジング（NPD）を提案する。NPDは、ニューラルネットワークを用いて局所的基準面を推定し、ノイズのある点群を滑らかな表面に射影することで、既存手法と比較して低い分散で最先端の性能を達成する。NPDは、反復的マルチプロジェクションや手動による近傍選択に依存せず、1回のパスで局所的およびグローバル特徴を統合して、頑健な法線推定とデノイジングを実現する。

ABSTRACT

We present a neural-network-based architecture for 3D point cloud denoising called neural projection denoising (NPD). In our previous work, we proposed a two-stage denoising algorithm, which first estimates reference planes and follows by projecting noisy points to estimated reference planes. Since the estimated reference planes are inevitably noisy, multi-projection is applied to stabilize the denoising performance. NPD algorithm uses a neural network to estimate reference planes for points in noisy point clouds. With more accurate estimations of reference planes, we are able to achieve better denoising performances with only one-time projection. To the best of our knowledge, NPD is the first work to denoise 3D point clouds with deep learning techniques. To conduct the experiments, we sample 40000 point clouds from the 3D data in ShapeNet to train a network and sample 350 point clouds from the 3D data in ModelNet10 to test. Experimental results show that our algorithm can estimate normal vectors of points in noisy point clouds. Comparing to five competitive methods, the proposed algorithm achieves better denoising performance and produces much smaller variances.

研究の動機と目的

• ノイズ、曲率の変動、サンプリング密度の変動が生じる状況下での3次元点群デノイジングの課題に対処すること。
• 局所的幾何推定にための手動で定義された近傍や固有値分解に依存しないこと。
• ノイズのある点群から直接基準面を推定する深層学習ベースの手法を開発し、正確な表面射影を実現すること。
• ネットワークアーキテクチャに局所的およびグローバルな文脈的情報を統合することで、デノイジング性能を向上させること。
• 多様なオブジェクトカテゴリーやノイズレベルにおいて、最小の分散で頑健で安定したデノイジングを達成すること。

提案手法

• 局所的およびグローバル特徴を用いて、ノイズのある3次元点群の各点に対して法線ベクトルと平面切片（基準面）を予測する深層ニューラルネットワークを訓練する。
• ネットワークは、局所的近傍とグローバルな文脈からの特徴を抽出するPointNetベースのアーキテクチャを採用し、局所的表面幾何の共同推定を可能にする。
• ノイズのある点群が推定された基準面に射影されることで、滑らかで連続的な表面に沿ったデノイズド点群が得られ、すべての出力点が滑らかな表面に位置する。
• MSE（点対点一致）とチェンファーディスタンス（平面対平面一致）を組み合わせたハイブリッド損失関数を用い、両者の目的をバランスさせるために重みパrameter α を導入する。
• モデルはShapeNetの40,000点群とModelNet10の350点群を用いて訓練および評価し、増加するα値を段階的に用いたプログレッシブトレーニングを実施する。
• グローバル特徴のインジェクションにより、局所的近傍を越えた構造的文脈を提供し、性能が顕著に向上する。

実験結果

リサーチクエスチョン

• RQ1 手動で定義された近傍に依存せずに、深層ニューラルネットワークが3次元点群デノイジングのための基準面を効果的に推定できるか？
• RQ2 局所的表面推定にグローバル文脈を統合することで、ノイズ強度や曲率変動に対する頑健性が向上するか？
• RQ3 マルチプロジェクションベースライン（WMPなど）を上回る性能を示す単一プロジェクションデノイジング手法が、分散を低減して実現可能か？
• RQ4 点単位（MSE）と表面単位（CD）の一致のバランスが、デノイジング性能にどのように影響するか？
• RQ5 提案手法が多様なオブジェクトカテゴリーやノイズレベルにどの程度一般化可能か？

主な発見

• NPDは、BF、PDE、GBD、NLD、WMPの5つの競合手法をすべての7つのカテゴリ（ソファ、ベッド、トイレなど）でMSEおよびCD指標において上回った。
• 提案手法は、すべてのカテゴリおよび評価指標で最小の分散を達成し、優れた安定性と頑健性を示した。
• ソファカテゴリでは、MSEが0.627、CDが0.7670にまで低下したが、これは局所的特徴のみを用いた場合の10.845 MSEおよび10.4758 CDと顕著に低い。
• グローバル特徴の導入により、局所的特徴のみを用いたモデルと比較して、MSEおよびCD誤差が最大で1桁のオーダー低下した。
• αが0.1から0.9に増加するに従い、MSEは低下し、CDは上昇する傾向を示した。これにより、損失関数が点単位と表面単位の一致を効果的にバランスしていることが確認された。
• 増加するα値を用いたプログレッシブトレーニングにより、最適な性能が得られ、一般化能力およびデノイジング精度の向上が示された。