[논문 리뷰] NeuralSampler: Euclidean Point Cloud Auto-Encoder and Sampler

Edoardo Remelli, Pierre Baqué외 1명|arXiv (Cornell University)|2019. 01. 27.

3D Shape Modeling and Analysis참고 문헌 21인용 수 15

한 줄 요약

NeuralSampler는 3D 포인트 클라우드를 위한 완전 컨volution 레이어로 구성된 오토인코더를 제안하며, 형태 생성과 표면 샘플링을 분리하여 임의의 크기의 출력 클라우드를 가능하게 한다. 학습 가능한 샘플링 레이어를 통해 구현되며, 볼록체 기반의 점유도 맵과 유클리드 격자 기반의 특징 기반 샘플링을 사용하여 기존 방법보다 반 토막 난 파라미터로 최신 기술 수준의 성능을 달성한다. 이는 포인트 클라우드 분류 및 슈퍼해상도에서 최고 성능을 기록한다.

ABSTRACT

Most algorithms that rely on deep learning-based approaches to generate 3D point sets can only produce clouds containing fixed number of points. Furthermore, they typically require large networks parameterized by many weights, which makes them hard to train. In this paper, we propose an auto-encoder architecture that can both encode and decode clouds of arbitrary size and demonstrate its effectiveness at upsampling sparse point clouds. Interestingly, we can do so using less than half as many parameters as state-of-the-art architectures while still delivering better performance. We will make our code base fully available.

연구 동기 및 목표

• 3D 포인트 클라우드 학습에서 고정된 출력 크기 제한을 가진 생성 모델의 한계를 해결하기 위해, 동적 해상도 조정과 학습 복잡도 증가를 방지한다.
• 업샘플링 및 표현 학습에서 성능을 저하시키지 않으면서도 오토인코더의 모델 파라미터를 줄인다.
• 형태 표현과 샘플링을 분리함으로써 임의의 크기의 포인트 클라우드 생성을 가능하게 하여 추론 중 동적 해상도 조정을 허용한다.
• 격자 기반 특징 학습을 활용한 경량이고 파라미터 효율적인 아키텍처로 희박한 포인트 클라우드의 슈퍼해상도를 향상시킨다.

제안 방법

• 모델은 입력 포인트 클라우드를 표현하기 위해 볼록체 격자를 사용하며, 각 볼록체에 점유도 확률과 국소 기하학적 특징을 동시에 인코딩한다.
• 완전 컨volution 레이어로 구성된 인코더가 볼록체 격자를 처리하여 표면 영역과 볼록체 중심 기준 국소 위치를 인코딩한 잠재 벡터를 생성한다.
• 학습 가능한 샘플링 레이어가 잠재 벡터에서 3D 오프셋을 생성하며, 이는 결정적이지 않은 포인트 세트를 생성하며, 이들의 개수는 추정된 표면 영역에 따라 달라진다.
• 디코더는 한 번의 순방향 전파로도 반복적으로 통과시켜 더 높은 해상도의 포인트 클라우드를 생성할 수 있으며, 이로써 임의의 크기의 출력이 가능해진다.
• 공유된 가중치를 사용하는 폴딩 유사 디코더 아키텍처를 사용하여 파라미터를 줄이고도 고품질 출력을 유지한다.
• 표준 재구성 손실을 사용하여 엔드 투 엔드로 학습되며, 학습 중 무작위 회전을 통한 데이터 증강 기법이 적용된다.

실험 결과

연구 질문

• RQ1 기존 방법보다 훨씬 적은 파라미터를 사용하면서도 임의의 크기의 3D 포인트 클라우드를 생성할 수 있는 딥 오토인코더는 가능한가?
• RQ2 형태 생성과 샘플링을 분리함으로써 3D 포인트 클라우드 표현 학습에서의 유연성과 성능은 어떻게 향상되는가?
• RQ3 격자 기반 잠재 표현은 희박한 포인트 클라우드의 고품질 슈퍼해상도를 얼마나 잘 가능하게 하는가?
• RQ4 파라미터 효율적인 아키텍처가 분류 및 슈퍼해상도 벤치마크에서 최신 기술 수준의 모델을 능가하는가?

주요 결과

• NeuralSampler는 ModelNet10 및 ModelNet40 벤치마크에서 최신 기술 수준의 성능을 달성하며, 기존 방법보다 훨씬 적은 파라미터로 분류 정확도에서 승리한다.
• ModelNet40에서 모델의 디코더는 단지 463,000개의 파라미터를 사용한다—Yang et al., 2018의 두 번째로 좋은 방법보다 절반 이하이며, Achlioptas et al., 2018의 베이스라인보다 20배 적다.
• 슈퍼해상도에서 NeuralSampler는 Yu et al. (2018) 벤치마크에서 평균 거리 0.54×10⁻²를 기록하며 PointNet++ 및 PUNet를 능가했고, 반복 손실을 사용하지 않음에도 불구하고 최고의 균일성(NUC) 성능을 달성했다.
• 매우 희박한 입력(예: 256개 포인트)에서도 높은 출력 품질을 유지하여 저해상도 입력에 대한 강건성을 입증했다.
• 샘플링 레이어 덕분에 동적 해상도 제어가 가능하다: 반복적인 순방향 전파로 점점 더 조밀한 포인트 클라우드를 생성할 수 있으며, 이는 임의의 공간 해상도를 가능하게 한다.
• 격자 기반 잠재 표현은 효율적이고 파라미터가 적은 학습을 가능하게 하며, 특히 굵은 볼록체 격자에서 미세한 기하학적 세부 정보를 유지한다.