[논문 리뷰] Surface Reconstruction from Point Clouds by Learning Predictive Context Priors

Baorui Ma, Yu-Shen Liu외 2명|arXiv (Cornell University)|2022. 04. 23.

3D Shape Modeling and Analysis인용 수 5

한 줄 요약

이 논문은 추론 중에 적응형 쿼리 이동을 학습하여 점군에서 표면 복원을 위한 예측 가능한 컨텍스트 사전을 제안한다. 이는 사전에 학습된 局소 컨텍스트 사전을 유연하게 탐색함으로써 일반화 능력과 복원 정확도를 향상시킨다. 본 방법은 지표치의 부호거리 또는 후처리를 요구하지 않으며, 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Surface reconstruction from point clouds is vital for 3D computer vision. State-of-the-art methods leverage large datasets to first learn local context priors that are represented as neural network-based signed distance functions (SDFs) with some parameters encoding the local contexts. To reconstruct a surface at a specific query location at inference time, these methods then match the local reconstruction target by searching for the best match in the local prior space (by optimizing the parameters encoding the local context) at the given query location. However, this requires the local context prior to generalize to a wide variety of unseen target regions, which is hard to achieve. To resolve this issue, we introduce Predictive Context Priors by learning Predictive Queries for each specific point cloud at inference time. Specifically, we first train a local context prior using a large point cloud dataset similar to previous techniques. For surface reconstruction at inference time, however, we specialize the local context prior into our Predictive Context Prior by learning Predictive Queries, which predict adjusted spatial query locations as displacements of the original locations. This leads to a global SDF that fits the specific point cloud the best. Intuitively, the query prediction enables us to flexibly search the learned local context prior over the entire prior space, rather than being restricted to the fixed query locations, and this improves the generalizability. Our method does not require ground truth signed distances, normals, or any additional procedure of signed distance fusion across overlapping regions. Our experimental results in surface reconstruction for single shapes or complex scenes show significant improvements over the state-of-the-art under widely used benchmarks.

연구 동기 및 목표

• 기존 방법이 국소 컨텍스트 사전을 매칭하기 위해 고정된 쿼리 위치에 의존하는 데서 비롯되는 제한점을 해결하기 위해, 이는 미리 보지 않은 영역로의 일반화 능력을 제한한다.
• 추론 시 사전에 학습된 국소 컨텍스트 사전을 예측 가능한 컨텍스트 사전으로 특화시켜 복원 정확도를 향상시키기 위해.
• 지표치의 부호거리, 법선 또는 겹치는 영역에서의 부호거리 융합에 대한 지표치가 필요 없도록 하기 위해.
• 학습된 예측 가능한 쿼리를 통해 사전 공간 전체에 걸쳐 탄력적인 전역 탐색을 가능하게 하기 위해.

제안 방법

• 대규모 점군 데이터셋에서 신경망을 사용하여 국소 부호거리 함수(SDF)를 표현하는 사전에 학습된 국소 컨텍스트 사전을 얻는다.
• 추론 시점에서 신경 쿼리 네트워크가 원래의 전역 좌표에서의 이동량으로 조정된 공간 쿼리 위치를 예측하는 예측 쿼리를 학습한다.
• 예측 쿼리는 사전 공간 내에서 쿼리의 동적 재배치를 가능하게 하여, 아직 보지 못한 국소 기하학적 구조와 더 잘 일치하도록 한다.
• 목표 점군에서 표면 복원 오차를 최소화하기 위해 신경 암시 네트워크 파라미터와 쿼리 네트워크를 함께 최적화한다.
• 복원에 지표치 SDF나 법선 감독이 필요 없이 입력 점군만을 사용한다.
• 국소 영역을 국소 좌표계에서 중심화 및 스케일링하여 사전 학습 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 적응형 쿼리 이동을 학습함으로써 사전에 학습된 국소 컨텍스트 사전의 일반화 능력이 표면 복원에서 향상될 수 있는가?
• RQ2 예측 쿼리 학습은 고정 쿼리 매칭에 비해 미리 보지 않은 영역에서 복원 정확도에 어떻게 영향을 미치는가?
• RQ3 본 방법은 지표치 SDF나 후처리 단계에 얼마나 의존도를 줄이는가?
• RQ4 전체 사전 공간을 탐색할 수 있는 능력이 고정 위치 매칭에 비해 더 나은 복원 성능을 이끌어내는가?

주요 결과

• 본 방법은 널리 사용되는 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, ABC 데이터셋에서 L2-CD가 2.09 × 1000으로 이전 방법들을 크게 앞서며 성능을 뛰어나게 했다.
• 제거 실험 결과 전처리 단계를 생략할 경우 성능이 급격히 떨어지며(L2-CD: 4.04 × 1000), 이는 예측 쿼리 학습의 필수성을 입증한다.
• 암시 네트워크와 쿼리 네트워크의 파라미터를 함께 최적화하는 것은 전용 예측 쿼리를 사용하는 것보다 성능이 열 劣하므로, 특화 과정이 매우 중요하다는 것을 시사한다.
• 국소 영역을 중심화 및 스케일링하여 정규화하면 성능 향상이 이루어지며, 전체 정규화 방식이 가장 우수한 성능을 기록했다(Normal: 0.9446).
• 최적의 국소 영역 크기는 6³로 확인되었으며, 이보다 작거나 큰 영역은 성능을 떨어뜨리며, 8³ 영역은 더 높은 오차를 보였다.
• 지오데식 거리 기반의 패치 기반 영역 설정은 파트 기반 영역 설정에 비해 성능 향상이 없었으며, 이는 현재의 영역 분할 전략의 효과성을 확인한다.