[논문 리뷰] PU-Net: Point Cloud Upsampling Network

Lequan Yu, Xianzhi Li외 3명|arXiv (Cornell University)|2018. 01. 21.

3D Shape Modeling and Analysis참고 문헌 49인용 수 76

한 줄 요약

PU-Net은 다중 레벨 포인트 특징을 학습하여 특징 공간에서 확장하고 재건 손실과 반발 손실의 결합으로 더 조밀한 포인트 세트를 재구성하는 patch 기반 데이터 주도 포인트 클라우드 업샘플링 네트워크를 제안한다.

ABSTRACT

Learning and analyzing 3D point clouds with deep networks is challenging due to the sparseness and irregularity of the data. In this paper, we present a data-driven point cloud upsampling technique. The key idea is to learn multi-level features per point and expand the point set via a multi-branch convolution unit implicitly in feature space. The expanded feature is then split to a multitude of features, which are then reconstructed to an upsampled point set. Our network is applied at a patch-level, with a joint loss function that encourages the upsampled points to remain on the underlying surface with a uniform distribution. We conduct various experiments using synthesis and scan data to evaluate our method and demonstrate its superiority over some baseline methods and an optimization-based method. Results show that our upsampled points have better uniformity and are located closer to the underlying surfaces.

연구 동기 및 목표

• 포인트 클라우드 업샘플링을 단순 보간과 구분되는 데이터 주도 문제로 동기 부여한다.
• 다중 레벨 특징 집합화를 통해 국부 및 전역 기하학을 학습하는 패치 기반 네트워크를 개발한다.
• 입력 포인트당 다수의 출력 포인트를 생성하기 위한 특징 공간의 확장 메커니즘을 제안한다.
• 재건(EMD) 및 반발 항의 결합 손실을 통해 표면 적합성과 균일 분포를 강제한다.

제안 방법

• 이전 3D 모델에서 다중 스케일의 국부 패치를 추출해 기하학 의미를 학습한다.
• PointNet++에서 영감을 받은 계층적 학습과 다중 레벨 특징 집합화를 통해 포인트 특징을 임베딩한다.
• 중복을 줄이기 위해 분리된 합성곱으로 구성된 부분 픽셀 합성곱에 영감을 받은 확장을 통해 특징을 확장해 포인트 수를 증가시킨다.
• 출력 포인트의 3D 좌표를 포인트 특징당 완전히 연결된 계층으로 재구성한다.
• 재건을 위한 Earth Mover의 거리(EMD)와 균일 분포를 촉진하는 반발 손실의 결합 손실로 엔드 투 엔드 학습을 수행한다.

실험 결과

연구 질문

• RQ1 데이터 주도 네트워크가 업샘플링을 위해 로컬 기하학 패턴을 학습해 최적화 기반 방법보다 더 잘 수행할 수 있는가?
• RQ2 다중 레벨 특징 집합화가 단일 스케일 특징보다 업샘플링 품질을 향상시키는가?
• RQ3 특징 공간 확장 전략이 출력 포인트의 균일성 및 표면 부착성에 어떤 영향을 미치는가?

주요 결과

• PU-Net은 합성 데이터와 실제 스캔 데이터를 모두 대상으로 기저선 및 최적화 기반 방법보다 표면 부착성을 더 잘 달성한다.
• 제안 방법은 테스트된 패치들에서 점의 균일한 분포를 향상시키며 정량적 지표와 시각적 비교로 그 경향이 입증된다.
• EMD 재건 손실과 반발 손실의 공동 사용은 표면에 대한 정확도와 출력 포인트의 균일성을 함께 향상시킨다.
• 패치 기반의 비정렬 포인트 처리 방식은 고정된 포인트 순서를 요구하지 않고도 고품질 업샘플링을 가능하게 한다.
• 반복적 업샘플링은 입력 포인트 수의 변화와 노이즈 입력에 대해 견고성을 보여 표면 세부 정보를 보존한다.