[논문 리뷰] PCPNET: Learning Local Shape Properties from Raw Point Clouds

Paul Guerrero, Yanir Kleiman외 2명|SPIRE - Sciences Po Institutional REpository|2017. 10. 13.

Image Processing and 3D Reconstruction인용 수 26

한 줄 요약

PCPNet는 다중 척도 PointNet 아키텍처를 사용하여 원시이고 노이즈가 많은 포인트 클라우드에서 국소 3D 형상 특성(예: 법선 및 곡률)을 추정하는 딥러닝 프레임워크이다. 수동 매개변수 조정 없이 다양한 노이즈 수준과 샘플링 밀도에서 강건한 국소 특징을 학습함으로써 최신 기술을 능가한다.

ABSTRACT

In this paper, we propose PCPNet, a deep-learning based approach for estimating local 3D shape properties in point clouds. In contrast to the majority of prior techniques that concentrate on global or mid-level attributes, e.g., for shape classification or semantic labeling, we suggest a patch-based learning method, in which a series of local patches at multiple scales around each point is encoded in a structured manner. Our approach is especially well-adapted for estimating local shape properties such as normals (both unoriented and oriented) and curvature from raw point clouds in the presence of strong noise and multi-scale features. Our main contributions include both a novel multi-scale variant of the recently proposed PointNet architecture with emphasis on local shape information, and a series of novel applications in which we demonstrate how learning from training data arising from well-structured triangle meshes, and applying the trained model to noisy point clouds can produce superior results compared to specialized state-of-the-art techniques. Finally, we demonstrate the utility of our approach in the context of shape reconstruction, by showing how it can be used to extract normal orientation information from point clouds.

연구 동기 및 목표

• 원시이고 노이즈가 많은 포인트 클라우드에서 법선 및 곡률과 같은 국소 형상 특성을 추정하기 위한 통합적이고 데이터 기반의 방법을 개발하는 것.
• 이웃 영역 매개변수(예: 반경 또는 k개 이웃) 조정이 필요한 전통적인 피팅 기반 방법의 한계를 극복하는 것.
• 노이즈, 다양한 샘플링 밀도, 데이터 손실 등의 다양한 데이터 결함 상황에서도 강건한 추정을 가능하게 하는 것.
• 딥러닝이 국소 패치 특징에서 비방향성 및 방향성 법선, 특히 전역 방향성까지 효과적으로 추출할 수 있음을 보여주는 것.
• 전이 학습을 통해 청소된 삼각형 메쉬에서 실제 세계의 노이즈가 많은 포인트 클라우드로의 일반화를 보여주는 것.

제안 방법

• 각 점 주변의 국소 포인트 이웃을 다중 반경에서 다중 척도로 캡처하기 위해 PointNet의 다중 척도 변형을 사용하여 다양한 수준의 세부 정보를 포착한다.
• 공유된 깊은 신경망을 통해 국소 패치를 처리하고, 비방향성 법선과 주요 곡률을 동시에 예측한다.
• 다양한 노이즈 수준과 샘플링 분포로 청소된 삼각형 메쉬를 손상시켜 생성한 합성 포인트 클라우드를 사용해 네트워크를 훈련시킨다.
• 수용성 영역 크기가 점차 증가하는 계층적 아키텍처를 통해 정보를 다층적으로 통합함으로써 방향성 법선을 추론한다.
• 정점 간 연결성이나 바이너리 볼륨화를 명시적으로 요구하지 않아 양자화 오류를 피할 수 있다.
• 원본 메쉬의 진짜 법선과 곡률을 지도로 사용하며, 법선 및 곡률 예측에 최적화된 손실 함수를 사용해 훈련한다.

실험 결과

연구 질문

• RQ1 청소된 메쉬에서 훈련된 딥러닝 모델이 실제 노이즈가 많은 포인트 클라우드에서 국소 형상 특성을 추정하는 데 일반화 가능한가?
• RQ2 노이즈와 샘플링 변동성에 대한 강건성 측면에서 PCPNet은 전통적인 피팅 기반 방법(예: 제트 피팅)과 학습 기반 대안과 비교해 어떻게 성능을 내는가?
• RQ3 국소 패치 기반 네트워크가 계층적 특징 통합을 통해 전역적 성질인 방향성 법선을 학습할 수 있는가?
• RQ4 단일 척도 접근 방식에 비해 다중 척도 국소 특징 인코딩이 추정 정확도 향상에 얼마나 기여하는가?
• RQ5 이 방법의 실패 사례는 기하학적 대칭성 또는 훈련 다양성 부족과 어떤 관련이 있는가?

주요 결과

• PCPNet는 고노이즈 및 비균일 샘플링 조건을 포함한 다양한 포인트 클라우드 환경에서 법선 및 곡률 추정 성능이 최신 기술을 뛰어넘는다.
• 특히 강한 노이즈 조건에서 제트 피팅 및 Boulch 등이 제안한 허프 공간 정규화 방법보다 일관되게 뛰어난 성능을 보이며, 곡률 추정 오차는 일반적으로 진짜 값의 크기로 정규화된 상태에서 1 이하로 유지된다.
• 청소된 메쉬에서 실제 스캔(예: NYU RGB-D 데이터)으로의 일반화가 훈련 후 미세조정 없이도 잘 이루어진다.
• PCPNet는 깊이 있는 아키텍처를 통해 비록 작업이 전역적이며 대칭 영역에서는 모호성이 존재하지만, 방향성 법선을 성공적으로 추론한다.
• 대규모 평평한 영역 또는 대칭 구조(예: 파이프 내부 또는 큐브 면)에서 실패 사례가 발생하며, 이는 국소 패치 특징만으로는 방향성의 모호성을 해소할 수 없기 때문이다.
• 재구성 작업에서 정확히 방향이 맞는 법선의 비율에 비례해 모델 성능이 향상됨을 확인하여, 포isson 표면 재구성과 같은 후속 응용 분야에서의 유용성을 시사한다.