[논문 리뷰] Learning Occupancy Function from Point Clouds for Surface Reconstruction

Jia Meng, Matthew Kyan|arXiv (Cornell University)|2020. 10. 22.

3D Shape Modeling and Analysis참고 문헌 51인용 수 13

한 줄 요약

이 논문은 희소 점군에서 점유 함수를 학습하기 위한 PCNN 기반 방법을 제안하며, 기하학적 불변성과 국소적 세부 정보를 유지하기 위해 새로운 샘플링 연산자를 활용한다. 이는 ShapeNet에서 최신 기술 성능을 달성하고, McGill 데이터셋에서 강력한 일반화 능력과 회전 불변성을 보이며, 기준 자세 없이도 세밀한 형태의 세부 정보를 잘 포착하는 데 성공한다.

ABSTRACT

Implicit function based surface reconstruction has been studied for a long time to recover 3D shapes from point clouds sampled from surfaces. Recently, Signed Distance Functions (SDFs) and Occupany Functions are adopted in learning-based shape reconstruction methods as implicit 3D shape representation. This paper proposes a novel method for learning occupancy functions from sparse point clouds and achieves better performance on challenging surface reconstruction tasks. Unlike the previous methods, which predict point occupancy with fully-connected multi-layer networks, we adapt the point cloud deep learning architecture, Point Convolution Neural Network (PCNN), to build our learning model. Specifically, we create a sampling operator and insert it into PCNN to continuously sample the feature space at the points where occupancy states need to be predicted. This method natively obtains point cloud data's geometric nature, and it's invariant to point permutation. Our occupancy function learning can be easily fit into procedures of point cloud up-sampling and surface reconstruction. Our experiments show state-of-the-art performance for reconstructing With ShapeNet dataset and demonstrate this method's well-generalization by testing it with McGill 3D dataset \cite{siddiqi2008retrieving}. Moreover, we find the learned occupancy function is relatively more rotation invariant than previous shape learning methods.

연구 동기 및 목표

• 딥 러닝을 활용해 희소하고 노이즈가 많거나 균일하지 않은 점군으로부터 세밀한 3D 표면을 복원하는 데 도전한다.
• 기준 자세에 의존하는 기존의 학습 기반 암시적 함수 방법의 한계를 개선하여, 알려지지 않은 형태나 회전에 대한 일반화 능력을 향상시킨다.
• 점군의 기하학적 구조에서 유래한 사전 지식을 활용하기 위해 PCNN에 맞춤형 샘플링 연산자를 적용하여 점유 예측에 활용한다.
• 형상의 표준화된 사전 지식이 아닌 국소 기하 증거를 기반으로 학습함으로써 더 높은 복원 정밀도와 강건성을 확보한다.
• 다양한 데이터셋과 입력 밀도에 적용 가능한 확장 가능한, 회전 불변성과 일반화 능력을 갖춘 3D 형태 복원을 가능하게 한다.

제안 방법

• 이 방법은 점유 예측이 필요한 지점에서 특징 공간을 샘플링하는 새로운 샘플링 연산자를 네트워크에 통합한 PCNN(점군 컨volution 신경망)을 사용하여, 연속적이고 기하학적으로 인지 가능한 방식으로 쿼리 점의 점유를 예측한다.
• 샘플링 연산자는 점차적으로 군집화된, 거시적에서 미시적 특징 추출을 가능하게 하며, 순열 불변성을 유지한다.
• 점유 함수는 희소 점군 입력으로부터 엔드 투 엔드로 학습되며, 네트워크는 입력 기하학적 구조를 연속적인 체적 지표 함수로 매핑한다.
• 예측된 점유 함수는 여러 해상도에서 볼록체로 변환되고, Marching Cubes 알고리즘을 통해 메쉬로 변환된다.
• 네트워크 아키텍처는 확장 가능하다: PCNN 레이어의 커널 크기는 레이어당 점의 수의 역수로 조정되어 수신장 일관성을 유지한다.
• 이 방법은 ShapeNet-13에서 훈련되고, ShapeNet 및 McGill 데이터셋에서 평가되며, 미세조정 없이도 알려지지 않은 카테고리에서의 제로 샷 일반화 성능을 테스트한다.

실험 결과

연구 질문

• RQ1 맞춤형 샘플링 연산자를 갖춘 PCNN 아키텍처는 완전 연결 네트워크보다 희소 점군에서 더 높은 기하학적 정밀도로 점유 함수를 학습할 수 있는가?
• RQ2 제안된 방법은 알려지지 않은 객체 카테고리로의 일반화 능력과 기하학적 변환(예: 회전)에 대한 강건성에서 향상된 성능를 보이는가?
• RQ3 기본 자세나 카테고리 수준의 사전 지식에 의존하는 형태 생성 방법보다 국소 기하 증거에서 학습하는 것이 얼마나 더 우수한가?
• RQ4 입력 점의 밀도와 노이즈 수준이 복원 품질에 어떤 영향을 미치며, 더 rich한 입력 데이터에 대해 효과적으로 확장 가능한가?
• RQ5 기존의 ONet 같은 암시적 함수 학습 프레임워크에 비해 학습된 점유 함수가 더 회전 불변성을 갖는가?

주요 결과

• 제안된 방법은 ShapeNet-13 데이터셋에서 최신 기술 성능을 달성하였으며, 1000개의 입력 점과 5% 노이즈 조건에서 IoU는 0.870, Ch.L1는 0.045를 기록했다.
• 미세조정 없이도 McGill 데이터셋의 객체를 성공적으로 복원함으로써 알려지지 않은 카테고리로의 일반화 능력이 뛰어나, 제로 샷 설정에서 ONet을 능가하는 성능를 보였다.
• 모델는 강력한 회전 불변성을 보였으며, ONet가 작은 회전에서 실패하는 반면, 제안된 방법은 다양한 회전된 입력에서도 일관된 복원 품질을 유지했다.
• 입력 점의 밀도가 높고 노이즈가 적을수록 복원 품질이 향상되었으며, 150개 점일 때 IoU는 0.05에서 1000개 점일 때 0.870으로 증가했다.
• 기존의 학습 기반 접근 방식보다 국소 형태 증거에 기반함으로써 더 정확하게 세밀한 기하학적 세부 정보를 포착했다.
• 학습된 점유 함수는 입력 변동에 더 강건하며, 특히 복잡하거나 비표준 기하학적 형태에서 형태 특징을 더 잘 유지한다.