[論文レビュー] Surface Reconstruction from Point Clouds: A Survey and a Benchmark

Zhangjin Huang, Yuxin Wen+3 more|arXiv (Cornell University)|May 5, 2022

3D Shape Modeling and Analysis被引用数 23

ひとこと要約

点群からの表面再構成の調査と大規模ベンチマーク。古典的手法と深層学習手法を比較し、頑健性と一般化に関する洞察を提供。

ABSTRACT

Reconstruction of a continuous surface of two-dimensional manifold from its raw, discrete point cloud observation is a long-standing problem. The problem is technically ill-posed, and becomes more difficult considering that various sensing imperfections would appear in the point clouds obtained by practical depth scanning. In literature, a rich set of methods has been proposed, and reviews of existing methods are also provided. However, existing reviews are short of thorough investigations on a common benchmark. The present paper aims to review and benchmark existing methods in the new era of deep learning surface reconstruction. To this end, we contribute a large-scale benchmarking dataset consisting of both synthetic and real-scanned data; the benchmark includes object- and scene-level surfaces and takes into account various sensing imperfections that are commonly encountered in practical depth scanning. We conduct thorough empirical studies by comparing existing methods on the constructed benchmark, and pay special attention on robustness of existing methods against various scanning imperfections; we also study how different methods generalize in terms of reconstructing complex surface shapes. Our studies help identify the best conditions under which different methods work, and suggest some empirical findings. For example, while deep learning methods are increasingly popular, our systematic studies suggest that, surprisingly, a few classical methods perform even better in terms of both robustness and generalization; our studies also suggest that the practical challenges of misalignment of point sets from multi-view scanning, missing of surface points, and point outliers remain unsolved by all the existing surface reconstruction methods. We expect that the benchmark and our studies would be valuable both for practitioners and as a guidance for new innovations in future research.

研究の動機と目的

• 利用される幾何的事前知識（三角形化、滑らかさ、テンプレート、モデリング、学習ベース、ハイブリッド）によって既存の表面再構成手法を整理・分類する。
• 物体レベルおよびシーンレベルの表面と現実的なセンサ不備を含む、合成データと実測データを含む大規模なベンチマークデータセットを導入する。
• ベンチマーク上で既存手法を体系的に評価し、頑健性と一般化の長所と弱点を明らかにする。
• 現在の手法で未解決の実務上の課題（ミスアラインメント、欠損データ、外れ値）を強調する。
• 経験的な知見に基づく実務家向けの指針と今後の研究の方向性を提示する。

提案手法

• 再構成を正規化するために用いられる幾何的事前知識に従って手法を整理・検討する。
• 物体レベルおよびシーンレベルの表面と現実的なセンサ不備を含む、合成データと実測データを含む大規模ベンチマークデータセットを提示する。
• データ不備に対する頑健性と複雑な表面形状への一般化に焦点を当てた手法の経験的比較を実施する。
• 深層学習を含むモデリングおよび学習の事前知識の議論と、それらが古典的手法とどのように比較されるかを含む。
• 実験の再現のためにベンチマークとコードを公開する。

実験結果

リサーチクエスチョン

• RQ1 実務的なセンサ不備の下で、既存の表面再構成手法はどの程度の頑健性と一般化能力を示すか？
• RQ2 古典的手法と深層学習アプローチは、頑健性および複雑な形状への一般化能力の点でどのように比較されるか？
• RQ3 ノイズ・外れ値・ミスアラインメントの下で、どの事前知識と表現（例：三角形化、滑らかさ、テンプレート、暗黙/明示的モデル）が再構成品質に最も影響を与えるか？
• RQ4 現在の手法全体における多視点のミスアラインメント、欠損点、外れ値の未解決課題は何か？
• RQ5 現実世界のスキャニング条件と評価指標をより適切に反映するように、ベンチマークはどのように設計されるべきか？

主な発見

• 一部の古典的手法は、ベンチマーク上で最近の深層学習アプローチよりも強い頑健性と一般化を示す。
• 表面法線は、法線が不良でも再構成品質の向上に重要な役割を果たす。
• 評価指標と視覚的品質の間に不一致があり、より基礎的なベンチマークが必要であることを示している。
• ミスアラインメント、欠損データ、外れ値はベンチマーク全体で全手法にとって依然として難題である。
• 深層学習手法は有望だが、高度に複雑な形状への一般化には苦労している。
• ベンチマークは、現実的なセンサ不備の下で、物体レベルおよびシーンレベルの表面を共同で評価する。