[論文レビュー] Refine-Net: Normal Refinement Neural Network for Noisy Point Clouds

Haoran Zhou, Honghua Chen+7 more|arXiv (Cornell University)|Mar 23, 2022

3D Shape Modeling and Analysis被引用数 4

ひとこと要約

Refine-Net は、局所座標、高さ距離、曲率といった複数の幾何的特徴表現を、新規の接続モジュールを用いて統合することで、ノイズの多い点群法線を精錬する深層学習フレームワークである。合成データおよび実スキャンデータの両方で、最先端の性能を達成しており、シャープな特徴の保持とノイズ除去の両面で顕著な向上を示している。

ABSTRACT

Point normal, as an intrinsic geometric property of 3D objects, not only serves conventional geometric tasks such as surface consolidation and reconstruction, but also facilitates cutting-edge learning-based techniques for shape analysis and generation. In this paper, we propose a normal refinement network, called Refine-Net, to predict accurate normals for noisy point clouds. Traditional normal estimation wisdom heavily depends on priors such as surface shapes or noise distributions, while learning-based solutions settle for single types of hand-crafted features. Differently, our network is designed to refine the initial normal of each point by extracting additional information from multiple feature representations. To this end, several feature modules are developed and incorporated into Refine-Net by a novel connection module. Besides the overall network architecture of Refine-Net, we propose a new multi-scale fitting patch selection scheme for the initial normal estimation, by absorbing geometry domain knowledge. Also, Refine-Net is a generic normal estimation framework: 1) point normals obtained from other methods can be further refined, and 2) any feature module related to the surface geometric structures can be potentially integrated into the framework. Qualitative and quantitative evaluations demonstrate the clear superiority of Refine-Net over the state-of-the-arts on both synthetic and real-scanned datasets. Our code is available at https://github.com/hrzhou2/refinenet.

研究の動機と目的

• 従来の方法が剛体な事前知識や単一の特徴入力を依存とするノイズの多い点群における正確な法線推定の課題に対処すること。
• 任意のソース（他の学習ベース手法を含む）からの初期法線を精錬できる汎用的で柔軟なフレームワークの開発。
• 局所座標、グリッド構造の高さ距離、曲率といった多様な特徴表現を統合することで、幾何的忠実度を向上させる。
• 幾何的ドメイン知識を活用して初期法線推定を改善する、マルチスケール適合パッチ選択（MFPS）スキームの設計。
• 多様なノイズ分布および複雑な表面幾何形状（シャープエッジや平坦領域を含む）にわたる、高いロバスト性を実現すること。

提案手法

• Refine-Net は、初期法線を異なる幾何的ドメインからの特徴を抽出・統合することで処理するマルチスケール・マルチ特徴精錬アーキテクチャを採用している。
• 新規の接続モジュールにより、点座標、高さ距離グリッド、曲率特徴といった複数の特徴モジュールを共有表現空間に統合し、法線を共同で精錬する。
• マルチスケール適合パッチ選択（MFPS）スキームは、幾何的事前知識を活用して最適な局所パッチを選択することで、ノイズおよび表面複雑性に対してよりロバストな初期法線推定を実現する。
• クラスタベースの学習スキームにより、入力点群を Kc = 4 個のクラスタに分割し、特にエッジやコーナーのような幾何的に困難な領域での特徴学習を強化する。
• フレームワークは、新しい特徴モジュールのプラグアンドプレイ統合をサポートしており、将来的な幾何的事前知識の統合が可能である。
• 精錬された法線に従って更新される点更新型ノイズ除去アルゴリズムを用いて性能を検証し、法線の一貫性と空間的近接性に基づいて更新を行う。

実験結果

リサーチクエスチョン

• RQ1 複数の幾何的特徴表現を統合することで、深層学習フレームワークがノイズの多い点群法線を効果的に精錬できるか？
• RQ2 マルチスケールおよびマルチ特徴統合は、単一特徴または単一スケールアプローチと比較して、法線推定をどのように改善するか？
• RQ3 Refine-Net は、他の手法からの劣化した初期法線を、特にシャープエッジの保持とノイズ除去の観点でどの程度改善できるか？
• RQ4 提案された MFPS スキームは、標準的な近傍適合法と比較して、下流の性能をどのように向上させるか？
• RQ5 Refine-Net は、多様なノイズタイプおよび実世界のスキャン条件に一般化可能か？

主な発見

• Refine-Net は、合成データおよび実スキャンデータの両方で最先端の性能を達成しており、法線推定の精度とロバスト性において、既存手法を上回っている。
• MFPS 初期化法線における法線品質の向上が顕著であり、特にシャープエッジの回復と平坦領域における摂動の低減が顕著に改善されている。
• 点座標のみを入力として用いた場合でも、Refine-Net は高品質なノイズ除去法線を生成するが、マルチ特徴統合により性能が顕著に向上する。
• クラスタベースの学習スキームにより、複雑な幾何的構造における特徴学習が強化され、Kc = 4 クラスタを超えると性能向上が最小限にとどまる。
• 反復的点更新による検証を通じて、Refine-Net は、点群のノイズ除去および表面再構築において優れた性能を発揮し、法線ガイドモジュールとしての応用が可能である。
• 本手法は汎用的かつ拡張可能である：任意のソースからの法線を精錬可能であり、新しい幾何的特徴モジュールの統合が可能であり、広範な応用性を示している。