[論文レビュー] Surface Reconstruction from Point Clouds by Learning Predictive Context Priors

Baorui Ma, Yu-Shen Liu+2 more|arXiv (Cornell University)|Apr 23, 2022

3D Shape Modeling and Analysis被引用数 5

ひとこと要約

本論文では、推論時に適応的クエリ変位を学習することにより、点群からの表面再構成のための予測的コンテキストプライアを提案する。これにより、事前学習済みの局所的コンテキストプライアに対する柔軟な探索が可能となり、一般化性能と再構成精度が向上する。本手法は、真値の符号付き距離や後処理を必要とせず、最先端の結果を達成する。

ABSTRACT

Surface reconstruction from point clouds is vital for 3D computer vision. State-of-the-art methods leverage large datasets to first learn local context priors that are represented as neural network-based signed distance functions (SDFs) with some parameters encoding the local contexts. To reconstruct a surface at a specific query location at inference time, these methods then match the local reconstruction target by searching for the best match in the local prior space (by optimizing the parameters encoding the local context) at the given query location. However, this requires the local context prior to generalize to a wide variety of unseen target regions, which is hard to achieve. To resolve this issue, we introduce Predictive Context Priors by learning Predictive Queries for each specific point cloud at inference time. Specifically, we first train a local context prior using a large point cloud dataset similar to previous techniques. For surface reconstruction at inference time, however, we specialize the local context prior into our Predictive Context Prior by learning Predictive Queries, which predict adjusted spatial query locations as displacements of the original locations. This leads to a global SDF that fits the specific point cloud the best. Intuitively, the query prediction enables us to flexibly search the learned local context prior over the entire prior space, rather than being restricted to the fixed query locations, and this improves the generalizability. Our method does not require ground truth signed distances, normals, or any additional procedure of signed distance fusion across overlapping regions. Our experimental results in surface reconstruction for single shapes or complex scenes show significant improvements over the state-of-the-art under widely used benchmarks.

研究の動機と目的

• 既存手法が局所的コンテキストプライアを照合する際に固定されたクエリ位置に依存するという制限を解消し、未学習領域への一般化を制限する要因を排除すること。
• 推論時に事前学習済みの局所的コンテキストプライアを予測的コンテキストプライアに特化させることで、再構成精度を向上させること。
• 真値の符号付き距離、法線、または重複領域における符号付き距離の統合を必要としないようにすること。
• 学習された予測的クエリを用いて、プライア空間全体に対する柔軟でグローバルな探索を可能とすること。

提案手法

• 大規模な点群データセットからニューラルネットワークを用いて局所的符号付き距離関数（SDF）を表現する、事前学習済みの局所的コンテキストプライアを学習する。
• 推論時、ニューラルクエリネットワークが、元のグローバル座標からの変位として調整された空間的クエリ位置を予測する予測的クエリを学習する。
• 予測的クエリにより、プライア空間内でのクエリの動的再配置が可能となり、未学習の局所幾何構造に better なアライメントが実現できる。
• 目的の点群における表面再構成誤差を最小化するように、ニューラルインクリメントネットワークのパラメータとクエリネットワークを同時に最適化する。
• 再構成には入力点群のみを用い、真値のSDFや法線の監視を必要としない。
• 局所的領域をその局所座標系で中心化およびスケーリングすることで、プライア学習の安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 適応的クエリ変位の学習が、表面再構成における事前学習済み局所的コンテキストプライアの一般化性能を向上させることができるか？
• RQ2 予測的クエリ学習は、固定クエリ照合と比較して、未学習領域における再構成精度をどのように向上させるか？
• RQ3 本手法は、真値のSDFや後処理手順への依存度をどの程度低減できるか？
• RQ4 プライア空間全体に対する探索が、固定位置照合と比較してより優れた再構成をもたらすか？

主な発見

• 本手法は、広く用いられるベンチマークで最先端の性能を達成し、ABCデータセットではL2-CDが2.09 × 1000にまで低下し、先行手法を顕著に上回る。
• アブレーションスタディの結果、特化ステップ（no prior）を削除すると性能が急激に低下（L2-CD: 4.04 × 1000）し、予測的クエリ学習の必要性が裏付けられる。
• インクリメントネットワークとクエリネットワークのパラメータを同時にチューニングすると、特化された予測的クエリを使用する場合より結果が悪くなるため、特化プロセスが極めて重要であることが示された。
• 局所的領域の中心化およびスケーリングによる正規化が性能向上に寄与し、完全な正規化スキームが最良の結果（Normal: 0.9446）を達成した。
• 最適な局所的領域サイズは6³であると判明し、それより小さいまたは大きい領域では性能が低下し、8³の領域ではより高い誤差が観察された。
• 測地的距離に基づくパッチワイズ領域ではなく、パーツワイズ領域を用いることで性能が向上しないことから、現在の領域分割戦略の有効性が確認された。