[論文レビュー] Learning Occupancy Function from Point Clouds for Surface Reconstruction

Jia Meng, Matthew Kyan|arXiv (Cornell University)|Oct 22, 2020

3D Shape Modeling and Analysis参考文献 51被引用数 13

ひとこと要約

本稿では、幾何的不変性と局所的詳細を保持するための新しいサンプリング演算子を活用して、スパarsな点群からオク blows ンシイ関数を学習するPCNNベースの手法を提案する。ShapeNetでは最先端の表面再構成性能を達成し、McGillデータセットでも優れた汎化性能と回転不変性を示し、標準ポーズに依存せずに微細な形状特徴を捉える点で、先行する学習ベースの手法を上回っている。

ABSTRACT

Implicit function based surface reconstruction has been studied for a long time to recover 3D shapes from point clouds sampled from surfaces. Recently, Signed Distance Functions (SDFs) and Occupany Functions are adopted in learning-based shape reconstruction methods as implicit 3D shape representation. This paper proposes a novel method for learning occupancy functions from sparse point clouds and achieves better performance on challenging surface reconstruction tasks. Unlike the previous methods, which predict point occupancy with fully-connected multi-layer networks, we adapt the point cloud deep learning architecture, Point Convolution Neural Network (PCNN), to build our learning model. Specifically, we create a sampling operator and insert it into PCNN to continuously sample the feature space at the points where occupancy states need to be predicted. This method natively obtains point cloud data's geometric nature, and it's invariant to point permutation. Our occupancy function learning can be easily fit into procedures of point cloud up-sampling and surface reconstruction. Our experiments show state-of-the-art performance for reconstructing With ShapeNet dataset and demonstrate this method's well-generalization by testing it with McGill 3D dataset \cite{siddiqi2008retrieving}. Moreover, we find the learned occupancy function is relatively more rotation invariant than previous shape learning methods.

研究の動機と目的

• 深層学習を用いて、スパarsでノイズが混入している、または非一様な点群から詳細な3次元表面を再構成する課題に対処すること。
• 標準ポーズに依存する既存の学習ベースのimplicit関数手法の限界を改善し、未学習の形状や回転に対して一般化できない問題を解決すること。
• 点群構造から得られる幾何的事前知識を活用し、PCNNにカスタムサンプリング演算子を適用することで、オク blows ンシイ予測に適した特徴を抽出すること。
• 形状の典型例に依存するのではなく、局所的な幾何的証拠から学習することで、再構成の忠実性と耐障害性を向上させること。
• スケーラブルで、回転不変かつ一般化可能な3次元形状再構成を、多様なデータセットと入力密度に応用可能にするための手法を実現すること。

提案手法

• 本手法は、クエリポイントにおけるオク blows ンシイを連続的かつ幾何的に注意を払った形で予測できるように、ネットワーク内に新規のサンプリング演算子を組み込んだPoint Convolutional Neural Network（PCNN）を採用する。
• サンプリング演算子により、局所的特徴の階層的で粗いから細かい抽出が可能となり、オク blows ンシイを予測する必要がある点で特徴空間をサンプリングすることで、順列不変性が維持される。
• オク blows ンシイ関数は、スパarsな点群入力からエンドツーエンドで学習され、ネットワークは入力幾何形状を連続なボリューム指標関数にマッピングする。
• 予測されたオク blows ンシイ関数は複数の解像度でボクセル化され、Marching Cubesアルゴリズムを用いてメッシュに変換される。
• ネットワークアーキテクチャはスケーラブルである：PCNN層のカーネルサイズは、層ごとの点数の逆数に合わせて調整され、受容 field の一貫性が保たれる。
• 本手法はShapeNet-13で学習され、ShapeNetおよびMcGillデータセットで評価され、未学習のカテゴリに対してゼロショット一般化のテストが実施された。

実験結果

リサーチクエスチョン

• RQ1 カスタムサンプリング演算子を備えたPCNNアーキテクチャは、全結合ネットワークよりも、スパarsな点群からのオク blows ンシイ関数の幾何的忠実性を向上させることができるか？
• RQ2 提案手法は、未学習のオブジェクトカテゴリへの一般化性能と、回転などの幾何変換に対する耐障害性を向上させることができるか？
• RQ3 標準ポーズやカテゴリレベルの事前知識に依存する形状生成手法と比較して、局所的幾何的証拠から学習することで、どの程度優れた性能が得られるか？
• RQ4 入力点群の密度とノイズレベルは再構成品質にどのように影響するか？また、より豊富な入力データに対して本手法は効果的にスケーリングできるか？
• RQ5 ONetのような既存のimplicit関数学習フレームワークと比較して、学習されたオク blows ンシイ関数はより回転不変性を示すか？

主な発見

• 提案手法はShapeNet-13データセットで最先端の性能を達成し、1000点の入力と5%のノイズ条件下でIoUが0.870、Ch.L1が0.045を記録した。
• 本手法は未学習のカテゴリに対しても良好な一般化性能を示し、微調整なしにMcGillデータセットのオブジェクトを成功裏に再構成した。ゼロショット設定ではONetを上回った。
• モデルは強い回転不変性を示す：ONetは小さな回転で失敗する一方、本手法は回転した入力に対しても一貫した再構成品質を維持した。
• 入力点群の密度が高くノイズが少ないほど再構成品質が向上し、150点でIoUが0.05から1000点で0.870に上昇した（5%ノイズ条件下）。
• 本手法は、典型形状へのフィッティングに依存するのではなく、局所的形状証拠に依存することで、従来の学習ベース手法よりも微細な幾何的特徴をより正確に捉えた。
• 学習されたオク blows ンシイ関数は入力の変動に対してより耐障害性があり、特に複雑または非標準的な幾何形状においても形状固有の特徴をよりよく保持した。