[논문 리뷰] PU-EVA: An Edge Vector based Approximation Solution for Flexible-scale Point Cloud Upsampling

Luqing Luo, Lulu Tang외 3명|arXiv (Cornell University)|2022. 04. 22.

3D Shape Modeling and Analysis인용 수 5

한 줄 요약

PU-EVA는 엣지 벡터 기반의 애핀 변환 조합 방법을 제안하여 유연한 스케일의 포인트 클라우드 업샘플링을 구현하며, 네트워크 아키텍처와 업샘플링 비율을 분리한다. 국소 기하학을 엣지 벡터로 모델링하고, 이차 테일러 전개 항을 통한 근사 오차 제약을 통해 최첨단 기법들에 비해 표면 충실도, 균일성, 세부 사항 유지 능력에서 뛰어난 성능을 달성한다.

ABSTRACT

High-quality point clouds have practical significance for point-based rendering, semantic understanding, and surface reconstruction. Upsampling sparse, noisy and nonuniform point clouds for a denser and more regular approximation of target objects is a desirable but challenging task. Most existing methods duplicate point features for upsampling, constraining the upsampling scales at a fixed rate. In this work, the flexible upsampling rates are achieved via edge vector based affine combinations, and a novel design of Edge Vector based Approximation for Flexible-scale Point clouds Upsampling (PU-EVA) is proposed. The edge vector based approximation encodes the neighboring connectivity via affine combinations based on edge vectors, and restricts the approximation error within the second-order term of Taylor's Expansion. The EVA upsampling decouples the upsampling scales with network architecture, achieving the flexible upsampling rates in one-time training. Qualitative and quantitative evaluations demonstrate that the proposed PU-EVA outperforms the state-of-the-art in terms of proximity-to-surface, distribution uniformity, and geometric details preservation.

연구 동기 및 목표

• 기존 딥러닝 기반 포인트 클라우드 업샘플링 방법에서 고정된 업샘플링 비율에 기인한 한계를 해결하기 위해.
• 희박하거나 노이즈가 있는 포인트 클라우드의 업샘플링에서 표면 충실도, 균일성, 기하학적 세부 사항 유지 능력을 향상시키기 위해.
• 업샘플링 스케일을 네트워크 아키텍처에서 분리하여 한 번의 훈련으로 다양한 스케일에 적용 가능한 방법을 확보하기 위해.
• 국소 기하학적 구조를 엣지 벡터를 통해 통합하여 보다 정확한 점 배치를 유도하기 위해.

제안 방법

• 3차원 포인트 클라우드의 국소 이웃 연결성을 인코딩하기 위해 엣지 벡터를 사용해 유사도 행렬을 구성한다.
• 국소 기하학적 맥락을 이웃 점들로부터 활용하여 엣지 벡터 기반 애핀 조합을 통해 새로운 점을 생성한다.
• 선형 근사 정리를 적용하여 근사 오차를 이차 테일러 전개 항 내에서 제한한다.
• 아키텍처 변경 없이 다양한 업샘플링 스케일에 동적으로 적응할 수 있는 학습 가능한 업샘플링 유닛을 설계한다.
• 종량형 딥러닝 프레임워크에 EVA 업샘플링 유닛을 통합하여 특징 학습과 점 생성을 동시에 수행한다.
• 다양한 분석 및 비교를 위해 NodeShuffle과 직접적인 특징 복제를 베이스라인으로 사용한다.

실험 결과

연구 질문

• RQ1 엣지 벡터 기반 애핀 조합이 재학습 없이도 다양한 업샘플링 비율을 달성할 수 있는가?
• RQ2 엣지 벡터를 통한 기하학적 구조 통합이 표면 근사 및 세부 사항 유지 능력을 향상시키는가?
• RQ3 근사 오차를 분석적으로 제한하여 네트워크 수렴을 보장할 수 있는가?
• RQ4 입력 노이즈와 희박성 수준이 다양할 경우 제안된 방법의 성능은 어떠한가?
• RQ5 비균일 샘플링을 가진 실세계 LiDAR 스캔 데이터에 일반화 가능한가?

주요 결과

• 모든 입력 해상도에서 PU-EVA는 가장 낮은 카멘 디스턴스(CD)와 하우스도르프 디스턴스(HD)를 기록하여 표면 근사 능력이 뛰어나다는 것을 보여준다.
• 4배 업샘플링 조건에서, 희박한 입력에 대해 PU-GAN 대비 최대 15% 향상되고 PU-Net 대비 10% 향상된다.
• 절단 분석 결과, EVA 업샘플링 유닛이 CD, HD, F-Score의 세 가지 지표에서 직접 특징 복제 및 NodeShuffle보다 뛰어난 성능을 보였다.
• 이차 테일러 오차 항이 없더라도 PU-EVA는 강력한 성능을 유지하여 엣지 벡터 기반 메커니즘의 견고성을 입증한다.
• 입력 노이즈에 대해 뛰어난 견고성을 보이며, 가우시안 노이즈 수준이 증가함에 따라 일관된 성능 저하가 발생한다.
• Kitti에서 확보한 실세계 LiDAR 스캔 데이터에서는 PU-EVA가 희박하고 비균일한 도로 환경을 효과적으로 향상시키며 더 선명하고 정확한 물체 형태를 생성한다.