[논문 리뷰] PC$^2$-PU: Patch Correlation and Point Correlation for Effective Point Cloud Upsampling

Long Chen, Wenxiao Zhang외 4명|arXiv (Cornell University)|2021. 09. 20.

3D Shape Modeling and Analysis인용 수 6

한 줄 요약

이 논문은 패치 간 상관관계와 점 간 상관관계를 모두 모델링하여 공간 일관성을 향상시키는 새로운 포인트 클라우드 업샘플링 방법인 PC²-PU를 제안한다. 인접 패치 간 관계를 활용하는 패치 상관관계 모듈(PaCM)과 국소 기하학적 구조를 유지하는 점 상관관계 모듈(PoCM)을 도입함으로써, 깨끗한 입력과 노이즈가 있는 입력 모두에서 최신 기술(SOTA) 성능을 달성하며 정확도와 내성에 뛰어난 성능을 보인다.

ABSTRACT

Point cloud upsampling is to densify a sparse point set acquired from 3D sensors, providing a denser representation for the underlying surface. Existing methods divide the input points into small patches and upsample each patch separately, however, ignoring the global spatial consistency between patches. In this paper, we present a novel method PC$^2$-PU, which explores patch-to-patch and point-to-point correlations for more effective and robust point cloud upsampling. Specifically, our network has two appealing designs: (i) We take adjacent patches as supplementary inputs to compensate the loss structure information within a single patch and introduce a Patch Correlation Module to capture the difference and similarity between patches. (ii) After augmenting each patch's geometry, we further introduce a Point Correlation Module to reveal the relationship of points inside each patch to maintain the local spatial consistency. Extensive experiments on both synthetic and real scanned datasets demonstrate that our method surpasses previous upsampling methods, particularly with the noisy inputs. The code and data are at \url{https://github.com/chenlongwhu/PC2-PU.git}.

연구 동기 및 목표

• 기존 업샘플링 방법이 패치를 독립적으로 처리하여 전반적인 공간 일관성을 忽시하는 한계를 해결하기 위해.
• 단일 패치를 초월한 구조적 관계를 통합함으로써 노이즈가 많고 흐린 입력에 대한 내성을 향상시키기 위해.
• 각 패치 내 점 간 상관관계를 모델링하여 업샘플링 중 국소 기하학적 정확성을 유지하기 위해.
• 성능과 추론 효율성의 균형을 이루는 경량이지만 효과적인 네트워크를 개발하기 위해.

제안 방법

• 이 방법은 인접 패치 간 점 위치의 유사성과 차이를 인코딩하여 고립된 패치에서 누락된 구조적 정보를 보완하는 패치 상관관계 모듈(PaCM)을 도입한다.
• 점 상관관계 모듈(PoCM)은 국소 공간 인코더를 사용하여 각 패치 내 점 간 상대적 위치 관계를 모델링함으로써 국소 기하학적 일관성을 향상시킨다.
• PaCM과 PoCM는 함께 최적화되어 가짜 점 생성과 노이즈를 억제하고 표면의 정확성을 향상시킨다.
• 네트워크는 인접 패치를 보조 입력으로 사용하는 패치 기반 접근 방식을 취함으로써 더 큰 패치 크기의 필요성을 피한다.
• 전체 포인트 클라우드에 걸쳐 무거운 트랜스포머 레이어를 피하기 위해 트랜스포머 연산을 국소 주변으로 제한함으로써 추론 속도를 향상시킨다.
• 이 방법은 종단간 학습을 통해 균일하게 분포된 밀도 높은 포인트 클라우드를 예측하도록 훈련된다.

실험 결과

연구 질문

• RQ1 패치 간 상관관계는 포인트 클라우드 업샘플링의 기하학적 일관성 향상에 어떻게 기여할 수 있는가?
• RQ2 패치 내 점 간 상관관계를 모델링하면 업샘플링 중 국소 표면 정확성은 어느 정도 향상되는가?
• RQ3 국소 및 전반적 상관관계를 통합한 경량 네트워크는 노이즈가 많고 흐린 입력에서 기존 최신 기술 방법을 초월할 수 있는가?
• RQ4 기존 기반 방법과 비교해 볼 때, 제안된 방법은 다양한 패치 크기와 입력 품질에서 얼마나 잘 일반화되는가?

주요 결과

• ShapeNet 데이터셋에서 4배 업샘플링 시 PC²-PU는 0.2321×10⁻³의 최저 캐멀 디스턴스(CD)를 기록하여 이전 최신 기술 방법인 Dis-PU(0.2560×10⁻³)를 능가한다.
• 노이즈가 있는 입력에서 PC²-PU는 CD 0.5099×10⁻³을 기록하며 Dis-PU(0.5339×10⁻³)를 뚜렷이 앞서며 뛰어난 내성을 입증한다.
• 모델의 일반화 능력이 뛰어나 PU1K 벤치마크에서 P2F-mean 1.4940×10⁻³을 기록하여 AG-GCN 및 Dis-PU를 모두 능가한다.
• 모델 복잡도는 낮으며, 학습 가능한 파라미터가 1.71MB 뿐이자 추론 시간이 4.1867ms로 높은 성능에도 불구하고 효율적이다.
• 패치 크기를 x2에서 x4로 증가시키면 성능이 악화됨을 확인하여 PaCM의 패치 상관관계가 더 큰 수신장보다 효과적임을 입증한다.
• 제거 실험 결과 SPNE 및 LSE 구성 요소를 제거할 경우 성능 저하가 심각하게 발생함을 확인하여 두 상관관계 모듈의 중요성을 입증한다.