[논문 리뷰] Normal Estimation for 3D Point Clouds via Local Plane Constraint and Multi-scale Selection

Jun Zhou, Huang Hua외 2명|arXiv (Cornell University)|2019. 10. 18.

3D Shape Modeling and Analysis참고 문헌 23인용 수 5

한 줄 요약

이 논문은 국소 평면 특징 제약(LPFC)과 다중 척도 선택을 사용하여 3D 포인트 클라우드의 정규 벡터 추정을 위한 새로운 방법을 제안한다. LPFC는 바이너리 분류기를 통해 평면 내 점과 이방점(point)을 구분함으로써 평면 인식 특징을 향상시켜 노이즈와 큰 샘플링 스케일에 대한 강건성을 향상시킨다. 스케일 선택 네트워크는 각 점에 대해 최적의 국소 스케일을 학습하여 다양한 노이즈 수준과 복잡한 기하학적 구조에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we propose a normal estimation method for unstructured 3D point clouds. In this method, a feature constraint mechanism called Local Plane Features Constraint (LPFC) is used and then a multi-scale selection strategy is introduced. The LPEC can be used in a single-scale point network architecture for a more stable normal estimation of the unstructured 3D point clouds. In particular, it can partly overcome the influence of noise on a large sampling scale compared to the other methods which only use regression loss for normal estimation. For more details, a subnetwork is built after point-wise features extracted layers of the network and it gives more constraints to each point of the local patch via a binary classifier in the end. Then we use multi-task optimization to train the normal estimation and local plane classification tasks simultaneously.Also, to integrate the advantages of multi-scale results, a scale selection strategy is adopted, which is a data-driven approach for selecting the optimal scale around each point and encourages subnetwork specialization. Specifically, we employed a subnetwork called Scale Estimation Network to extract scale weight information from multi-scale features. More analysis is given about the relations between noise levels, local boundary, and scales in the experiment. These relationships can be a better guide to choosing particular scales for a particular model. Besides, the experimental result shows that our network can distinguish the points on the fitting plane accurately and this can be used to guide the normal estimation and our multi-scale method can improve the results well. Compared to some state-of-the-art surface normal estimators, our method is robust to noise and can achieve competitive results.

연구 동기 및 목표

• 정규 벡터 추정에서 노이즈가 많고 희소하며 균일하지 않은 3D 포인트 클라우드의 과제를 해결한다.
• 기존 딥러닝 방법이 큰 스케일의 패치에서 평면 내 점과 이방점(point)을 구분하지 못하는 한계를 극복한다.
• 바이너리 분류 제약을 통한 국소 평면 인식 특징 학습을 강제하여 정규 벡터 추정의 강건성을 향상시킨다.
• 각 점에 대해 최적의 국소 스케일을 자동으로 선택할 수 있는 데이터 기반 스케일 선택 전략을 개발하여 정확도를 향상시킨다.
• 노이즈 수준과 기하학적 복잡성의 변화에 걸쳐 뛰어난 성능을 보이며, 뾰족한 모서리와 경계 구조를 포함한 복잡한 기하학적 형태에서도 뛰어난 성능을 입증한다.

제안 방법

• 국소 피팅 평면 상의 점과 이방점(point)을 구분하기 위해 특징 추출 후 적용되는 바이너리 분류기인 국소 평면 특징 제약(LPFC)을 도입한다.
• LPFC를 단일 스케일 정규 벡터 추정 네트워크에 통합하여 정규 벡터 회귀와 평면 분류를 다중 과제 최적화를 통해 공동 학습할 수 있도록 한다.
• 다중 스케일 특징에서 스케일 가중치를 학습하여 각 점에 대해 최적의 국소 스케일을 데이터 기반으로 선택할 수 있도록 하는 스케일 추정 네트워크를 설계한다.
• 다양한 수신장(receptive field)에서 특징을 추출하기 위해 다중 스케일 입력(e.g., 0.03, 0.05, 0.07)을 사용하며, 스케일 선택 네트워크가 이를 적응적으로 융합한다.
• 정규 벡터 회귀 손실과 평면 분류 손실을 조합한 공동 손실 함수를 적용하여 특징의 구분 능력을 향상시킨다.
• 구분 가능한 평면 인식 특징을 활용하여 보다 정확한 정규 벡터 예측을 위한 전역 특징 표현을 향상시킨다.

실험 결과

연구 질문

• RQ1 고노이즈 및 큰 샘플링 스케일 조건에서 국소 평면 특징을 효과적으로 제약하여 정규 벡터 추정의 강건성을 향상시킬 수 있는 방법은 무엇인가?
• RQ2 노이즈 수준과 기하학적 구조의 변화에 따라 스케일 선택이 정규 벡터 추정 정확도에 미치는 영향은 어떠한가?
• RQ3 데이터 기반 스케일 선택 메커니즘이 3D 정규 벡터 추정에서 고정 스케일 또는 히우리스틱 기반 스케일 선택보다 우월한가?
• RQ4 노이즈 수준과 국소 경계 구조는 정규 벡터 추정에 최적의 스케일 선택에 어떤 영향을 미치는가?
• RQ5 평면 인식 특징의 통합이 특징 학습과 최종 정규 벡터 예측에 얼마나 기여하는가?

주요 결과

• LPFC 메커니즘은 고노이즈 조건에서 특히 효과적으로 평면 외 점을 걸러내어 대규모 패치에서 정규 벡터 추정 정확도를 크게 향상시킨다.
• 다중 스케일 선택 전략은 모든 노이즈 수준에서 성능 향상을 이끌어내며, 소규모, 중간, 대규모 스케일을 조합했을 때 최고의 성능을 기록한다.
• 스케일 선택 네트워크는 저노이즈 영역에서는 소규모 스케일을 우선 선택하고, 경계 근처에서는 소규모에서 중간 스케일을 선호하며, 고노이즈 또는 희소 영역에서는 더 큰 스케일을 선호한다.
• PCPNet 벤치마크에서 이 방법은 최신 기술 수준의 성능을 달성하였으며, 특히 고노이즈 조건에서 뚜렷한 향상이 있었고(예: 0.07 스케일 선택이 단일 스케일 기반 베이스라인보다 더 높은 정확도를 기록), 성능이 뛰어나게 나타났다.
• 시각적 결과는 뾰족한 모서리와 경계에서 점들이 명확히 분리되었으며, 평면 내 점과 이방점(point)의 분류가 뚜렷하게 이루어졌음을 확인한다.
• 선택된 스케일의 히스토그램은 저노이즈 모델에서 소규모 스케일을 선호하는 경향을 보이며, 네트워크가 적절한 수신장을 자동으로 선택할 수 있음을 검증한다.