[論文レビュー] PCPNET: Learning Local Shape Properties from Raw Point Clouds

Paul Guerrero, Yanir Kleiman+2 more|SPIRE - Sciences Po Institutional REpository|Oct 13, 2017

Image Processing and 3D Reconstruction被引用数 26

ひとこと要約

PCPNet は、マルチスケール PointNet アーキテクチャを用いて、ノイズの多い生の点群から局所的な 3D 形状特性（法線や曲率など）を推定するディープラーニングフレームワークである。手動によるパrameterチューニングを必要とせず、ノイズレベルやサンプリング密度の変動に対してもロバストな局所特徴を学習できることで、最先端の手法を上回る性能を発揮する。

ABSTRACT

In this paper, we propose PCPNet, a deep-learning based approach for estimating local 3D shape properties in point clouds. In contrast to the majority of prior techniques that concentrate on global or mid-level attributes, e.g., for shape classification or semantic labeling, we suggest a patch-based learning method, in which a series of local patches at multiple scales around each point is encoded in a structured manner. Our approach is especially well-adapted for estimating local shape properties such as normals (both unoriented and oriented) and curvature from raw point clouds in the presence of strong noise and multi-scale features. Our main contributions include both a novel multi-scale variant of the recently proposed PointNet architecture with emphasis on local shape information, and a series of novel applications in which we demonstrate how learning from training data arising from well-structured triangle meshes, and applying the trained model to noisy point clouds can produce superior results compared to specialized state-of-the-art techniques. Finally, we demonstrate the utility of our approach in the context of shape reconstruction, by showing how it can be used to extract normal orientation information from point clouds.

研究の動機と目的

• 生のノイズの多い点群から法線や曲率などの局所的形状特性を推定する統合的かつデータ駆動型の手法を開発すること。
• 周辺パラメータ（例：半径や k 個の近傍点）の手動チューニングを必要とする伝統的なフィッティングベースの手法の限界を克服すること。
• ノイズ、サンプリング密度の変動、欠損データなど多様なデータ欠損要因に対してもロバストな推定を可能にすること。
• ディープラーニングが局所的パッチ特徴から、非方向付きおよび方向付きの法線（包括的にグローバルな方向性を含む）を効果的に抽出できることを示すこと。
• トランスファーラーニングを通じて、クリーンな三角形メッシュから実世界のノイズの多い点群へと一般化できることを示すこと。

提案手法

• 各点の局所的点群を複数の半径で捉えるマルチスケール PointNet の変種を用い、異なるスケールの詳細度の特徴を捉える。
• 局所的パッチを共有された深層ニューラルネットワークで処理し、非方向付き法線と主曲率を同時に予測する。
• ネットワークは、ノイズレベルやサンプリング分布を変化させたクリーンな三角形メッシュをノイズで汚した合成点群で訓練する。
• 受容 field の大きさを段階的に増加させるキャスケードアーキテクチャにより、層間の情報を統合することで方向付き法線を推定する。
• 明示的な接続性やボクセル化を必要とせず、局所的な幾何的構造を活用することで、量子化誤差を回避する。
• 訓練には元のメッシュからの真値の法線と曲率を監視信号として用い、法線と曲率の両方の予測に最適化された損失関数を適用する。

実験結果

リサーチクエスチョン

• RQ1 クリーンなメッシュで訓練されたディープラーニングモデルは、実際のノイズの多い点群においても局所的形状特性を推定できるか？
• RQ2 ノイズやサンプリングの変動に対するロバスト性において、PCPNet は古典的なフィッティングベースの手法（例：ジェットフィッティング）や学習ベースの代替手法と比べてどのように差をつけるか？
• RQ3 局所的パッチベースのネットワークは、階層的特徴統合を通じて、グローバルな性質である方向付き法線を学習できるか？
• RQ4 マルチスケールの局所的特徴符号化は、単一スケールのアプローチと比較して、推定精度をどの程度向上させるか？
• RQ5 この手法の失敗モードは、幾何的対称性やトレーニングデータの多様性の欠如とどのように関係しているか？

主な発見

• PCPNet は、高ノイズや非一様なサンプリングを含む多様な点群条件において、法線および曲率推定で最先端の性能を達成する。
• 特に強いノイズ下でも、ジェットフィッティングや Boulch らの Hough 空間でのノイズ除去手法を常に上回り、曲率推定誤差は通常、真値の大きさで正規化した状態で 1 未満である。
• ネットワークは、それらのデータセットにファインチューニングを行わず、クリーンなメッシュから実スキャン（例：NYU RGB-D）へと良好に一般化する。
• PCPNet は、ディープアーキテクチャを介して方向付き法線を効果的に推定でき、対称領域ではグローバルな方向性の曖昧さがあるにもかかわらず、それらを解消する。
• 失敗事例は、大きな平坦領域や対称構造（例：パイプの内部や立方体の面）で発生し、パッチベースの特徴だけでは方向性の曖昧さを解消できない。
• 再構築タスクにおける正しく方向付けられた法線の割合に比例してモデルの性能が向上することから、ポisson 表面再構築などの後続応用分野での有用性が示された。