[論文レビュー] A Survey and Benchmark of Automatic Surface Reconstruction from Point Clouds

Raphael Sulzer, Renaud Marlet+2 more|arXiv (Cornell University)|Jan 31, 2023

3D Shape Modeling and Analysis被引用数 7

ひとこと要約

本稿は、3次元点群からの表面再構成手法としての伝統的アプローチと学習ベースの手法を包括的に調査・ベンチマークしたものであり、標準的で現実的な条件下での性能を評価している。その結果、同様の特徴を持つ分布内データでは学習ベースのモデルが伝統的アプローチを上回るが、ノイズ、外れ値、非一様サンプリングといった現実世界の取得欠陥に対しては、伝統的アプローチがより頑健であることが判明した。

ABSTRACT

We present a comprehensive survey and benchmark of both traditional and learning-based methods for surface reconstruction from point clouds. This task is particularly challenging for real-world acquisitions due to factors such as noise, outliers, non-uniform sampling, and missing data. Traditional approaches often simplify the problem by imposing handcrafted priors on either the input point clouds or the resulting surface, a process that can require tedious hyperparameter tuning. In contrast, deep learning models have the capability to directly learn the properties of input point clouds and desired surfaces from data. We study the influence of handcrafted and learned priors on the precision and robustness of surface reconstruction techniques. We evaluate various time-tested and contemporary methods in a standardized manner. When both trained and evaluated on point clouds with identical characteristics, the learning-based models consistently produce higher-quality surfaces compared to their traditional counterparts -- even in scenarios involving novel shape categories. However, traditional methods demonstrate greater resilience to the diverse anomalies commonly found in real-world 3D acquisitions. For the benefit of the research community, we make our code and datasets available, inviting further enhancements to learning-based surface reconstruction. This can be accessed at https://github.com/raphaelsulzer/dsr-benchmark .

研究の動機と目的

• 一貫性があり現実的な条件下で、伝統的および学習ベースの表面再構成手法を体系的に評価・比較すること。
• 深層学習ベースの手法が、トレーニングデータにない新たな形状カテゴリーや新たな取得欠陥に対して、どの程度一般化できるかを調査すること。
• ノイズ、外れ値、非一様サンプリング、欠損データなどの現実世界の点群異常に対して、手法の頑健性を評価すること。
• 今後の深層表面再構成分野の研究を支援するため、公開可能なコードとデータセットを含む標準化されたベンチマークを提供すること。
• 特に分布外の欠陥に対して学習ベースのアプローチの限界を特定し、今後の手法開発を導くこと。

提案手法

• 著者らは、既知の真値メッシュを有する多様な公開済み形状データセットを用いて、再構成品質を評価した。
• MVSスキャンパイプラインをシミュレートすることで、非一様サンプリング、ノイズ、外れ値、欠損データといった現実的な取得特性を有する合成点群を生成した。
• ベンチマークには合成点群と実世界の点群が含まれており、既知の真値表面と実用的状況の両方での評価が可能である。
• 伝統的アプローチ（例：SPSR、RESR）と学習ベースのモデル（例：SAP、DGNN、POCO、P2S、IGR）を、同一のトレーニングおよびテスト条件で評価した。
• 幾何学的およびトポロジカルな再構成品質は、チャームフィ距離、ハウスマウア距離、Fスコアといった標準指標を用いて測定した。
• 実時間または実装に適した応用を想定し、実行時間および推論効率の評価も行った。

\alphalph

実験結果

リサーチクエスチョン

• RQ1 ノイズ、外れ値、非一様サンプリング、欠損データなどの現実的欠陥を有する点群において、学習ベースの表面再構成手法と伝統的アプローチの幾何学的・トポロジカルな正確性は、どのように比較されるか？
• RQ2 学習ベースのモデルは、トレーニングデータに存在しない新たな形状カテゴリにどの程度一般化できるか？
• RQ3 未知の外れ値パターンや極端な非一様サンプリングといった分布外の取得欠陥に対して、学習ベースの手法はどの程度頑健か？
• RQ4 伝統的アプローチは、ノイズや欠損データを含む多様な点群特性に対して一貫した性能を維持するか？
• RQ5 現代の表面再構成パイプラインにおいて、再構成品質、頑健性、推論速度のトレードオフはどのようなものか？

主な発見

• 類似した特徴を持つ点群でトレーニングおよびテストされた場合、学習ベースのモデルは常に伝統的アプローチを上回る高品質な表面を生成した。
• 大規模で複雑なデータセット（例：30,000形状）でトレーニングされた場合、学習ベースの手法は未観測の形状カテゴリに対しても一般化可能であり、形状固有の特徴ではなくデータから一般化された事前知識を学習していると考えられる。
• SPSR や RESR といった伝統的アプローチは、ノイズ、外れ値、欠損データといった現実世界の取得欠陥に対して、大多数の学習ベースのモデルを上回る頑健性を示した。
• SAP や DGNN といった手法は、速度と頑健性のバランスが良く、SAP は評価された手法の中で最も高速であった。
• 最適化ベースの学習手法（例：IGR、POCO）はドメインシフトに対して限定的な耐性を示し、多くの設定で伝統的技術を上回らなかった。
• 本ベンチマークは、現在の学習ベースのモデルが未確認または複雑な取得欠陥に対して頑健でないという重要なギャップを浮き彫りにした。これは、より現実的な訓練データの必要性を強調している。

\alphalph