[논문 리뷰] RangeUDF: Semantic Surface Reconstruction from 3D Point Clouds

Bing Wang, Zhengdi Yu외 6명|arXiv (Cornell University)|2022. 04. 19.

3D Shape Modeling and Analysis인용 수 9

한 줄 요약

RangeUDF는 희박하고 대규모의 포인트 클라우드로부터 고해상도 3D 표면을 공동으로 재구성하고 의미를 예측할 수 있는 새로운 암묵적 신경 표현을 제안한다. 범위 인지형 부호가 없는 거리 함수와 표면 중심의 의미 모듈을 도입함으로써 표면의 모호함을 제거하고, 네 가지 데이터셋에서 최신 기술 수준의 성능을 달성하며, 예측되지 않은 데이터에 대해서도 뛰어난 일반화 능력을 보인다.

ABSTRACT

We present RangeUDF, a new implicit representation based framework to recover the geometry and semantics of continuous 3D scene surfaces from point clouds. Unlike occupancy fields or signed distance fields which can only model closed 3D surfaces, our approach is not restricted to any type of topology. Being different from the existing unsigned distance fields, our framework does not suffer from any surface ambiguity. In addition, our RangeUDF can jointly estimate precise semantics for continuous surfaces. The key to our approach is a range-aware unsigned distance function together with a surface-oriented semantic segmentation module. Extensive experiments show that RangeUDF clearly surpasses state-of-the-art approaches for surface reconstruction on four point cloud datasets. Moreover, RangeUDF demonstrates superior generalization capability across multiple unseen datasets, which is nearly impossible for all existing approaches.

연구 동기 및 목표

• 기존의 암묵적 표현 방식인 점유도 필드와 부호가 있는 거리 함수가 개방형 또는 임의의 토폴로지 표면을 모델링할 수 없는 한계를 해결하기 위해.
• 희박하거나 밀도가 변동하는 포인트 클라우드로 인해 발생하는 부호가 없는 거리 함수의 표면 모호함을 극복하기 위해.
• 대규모 실세계 환경에서 연속적인 표면에 대해 정확한 3D 기하학과 의미를 공동으로 예측하기 위해.
• 닫힌 형상이나 볼록화를 요구하지 않고 원시 포인트 클라우드에서 종단 간 학습을 가능하게 하기 위해.
• 기존 방법에서 거의 관찰되지 않는 바탕으로 예측되지 않은 데이터셋에 대해 효과적인 일반화 능력을 향상시키기 위해.

제안 방법

• 각 포인트의 특징을 한 번의 순방향 전파로 처리하는 특징 추출기로, 전역 및 국소 기하학의 효율적 인코딩을 가능하게 한다.
• 쿼리 포인트에 대해 유일한 특징 벡터를 계산하기 위해 벡터 (q - p_k) 기반의 가중 평균을 사용하는 범위 인지 신경 보간 모듈을 도입함으로써 표면의 모호함을 감소시킨다.
• 보간된 특징에서 부호가 없는 거리 함수를 예측함으로써, 토폴로지 제약 없이 정밀한 기하학적 재구성을 보장한다.
• 표면에 가까운 위치에 집중함으로써 의미 분할을 학습하는 표면 중심의 의미 분할 모듈을 도입하여, 훈련 중에 쿼리 포인트가 표면에서 멀리 떨어져 있어도 의미 정보를 효과적으로 학습할 수 있도록 한다.
• 재구성과 의미 분할 브랜치를 균형 잡기 위해 불확실성 가중치를 적용한 다중 작업 손실을 사용함으로써 훈련의 안정성과 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 닫힌 형상이나 매니폴드 토폴로지 가정 없이도 신경 암묵적 표현이 세밀한 3D 표면 재구성과 의미 예측을 동시에 수행할 수 있는가?
• RQ2 희박하고 비균일한 포인트 클라우드를 다룰 때 부호가 없는 거리 함수의 표면 모호함은 어떻게 제거할 수 있는가?
• RQ3 쿼리 포인트가 표면에서 멀리 떨어져 있을 경우 암묵적 표현 프레임워크에서 의미 분할을 효과적으로 학습할 수 있는가?
• RQ4 기하학과 의미의 공동 최적화가 저샘플 수준의 의미 감독 하에서도 성능 향상에 기여하는가?
• RQ5 기존 방법과 달리 미세조정 없이도 예측되지 않은 데이터셋에 대해 효과적으로 일반화할 수 있는가?

주요 결과

• RangeUDF는 네 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, CD-L1 점수는 0.298, FS-δ는 0.876로 기존 방법들을 크게 능가한다.
• 기하 재구성과 분할을 공동 최적화할 경우, 1% 의미 감독 하에서 mIoU가 최대 0.018 향상된다.
• 제거 실험 결과 범위 인지 항목 (q - p_k) 가 필수적임을 확인하였으며, 이를 제거할 경우 CD-L1이 0.026 증가하여 모호함 제거에 핵심적인 역할을 함을 입증한다.
• 쿼리 포인트 좌표를 직접 의미 브랜치에 추가하면 mIoU가 0.019 감소함으로써 표면 중심 설계의 우수성을 입증한다.
• 프레임워크는 예측되지 않은 데이터셋에 대해 잘 일반화되며, 다양한 테스트 세트에서 일관된 성능 향상을 보이며, 훈련 도메인 외부에서도 강건함을 입증한다.