[논문 리뷰] Grad-PU: Arbitrary-Scale Point Cloud Upsampling via Gradient Descent with Learned Distance Functions

Yun He, Danhang Tang외 3명|arXiv (Cornell University)|2023. 04. 24.

3D Shape Modeling and Analysis인용 수 9

한 줄 요약

Grad-PU는 임의의 속도로 포인트 클라우드를 업샘플링합니다. 먼저 유클리드 공간에서 중점 보간을 수행한 다음, 학습된 포인트-대-포인트 거리 함수(P2PNet)가 인도하는 경사하강법으로 위치를 정제합니다. 이 방법은 서로 다른 업샘플링 속도에 대해 재학습 없이도 최신의 정확도와 효율성을 달성합니다.

ABSTRACT

Most existing point cloud upsampling methods have roughly three steps: feature extraction, feature expansion and 3D coordinate prediction. However,they usually suffer from two critical issues: (1)fixed upsampling rate after one-time training, since the feature expansion unit is customized for each upsampling rate; (2)outliers or shrinkage artifact caused by the difficulty of precisely predicting 3D coordinates or residuals of upsampled points. To adress them, we propose a new framework for accurate point cloud upsampling that supports arbitrary upsampling rates. Our method first interpolates the low-res point cloud according to a given upsampling rate. And then refine the positions of the interpolated points with an iterative optimization process, guided by a trained model estimating the difference between the current point cloud and the high-res target. Extensive quantitative and qualitative results on benchmarks and downstream tasks demonstrate that our method achieves the state-of-the-art accuracy and efficiency.

연구 동기 및 목표

• Rate마다 재학습 없이 임의의 업샘플링 속도를 지원하려는 동기.
• 3D 좌표 예측에서의 부정확성 및 인출(이상치/수축)과 같은 아티팩트를 다루기.
• 유클리드 공간 보간을 통해 포인트 생성과 학습을 분리한다.
• 보간된 포인트를 학습된 미분 가능한 거리 함수로 정교하게 다듬는다.

제안 방법

• 주어진 속도에 대해 유클리드 공간에서 중점 보간으로 업샘플링하여 보간된 포인트 클라우드를 생성한다.
• 가장 가까운 실제 포인트까지의 거리 F(p)에 의해 가이드되는 반복적 경사하강 프로세스를 통해 보간된 포인트를 정제한다.
• 다중 스케일의 로컬 및 글로벌 특징을 사용하여 보간된 포인트로부터 점-대-점 거리를 추정하는 미분 가능한 오라클 P2PNet을 학습한다.
• 가우시안 노이즈가 섞인 샘플로 P2PNet을 학습시켜 반복 위치변위(simulate iteration-displacement)를 시뮬레이션하고 거리 함수의 연속성을 향상시킨다.
• 정제 과정을 p^{t+1} = p^t - lambda * grad F(p^t) 형태로 T회 반복하도록 정식화하며, F는 추론 중 P2PNet으로 근사된다.
• 거리 회귀를 위한 로컬/글로벌 특징을 산출하기 위해 P3DConv 기반 특징 추출을 사용한다.

실험 결과

연구 질문

• RQ1 각 속도마다 재학습 없이 임의의 업샘플링 속도를 달성할 수 있는가?
• RQ2 학습된 점대점 거리 함수를 최적화하는 것이 직접 좌표 오프셋 예측보다 더 안정적이고 정확한 업샘플링을 가져오는가?
• RQ3 포인트 생성(보간)과 정제를 분리하는 것이 강인성 및 다운스트림 작업 성능에 어떻게 영향을 미치는가?
• RQ4 실세계의 토폴로지적으로 복잡한 포인트 클라우드에서도 미분 가능한 거리 오라클이 반복적 정제를 안내하는 데 충분한가?

주요 결과

• 제안된 Grad-PU 프레임워크는 업샘플링 속도 전반에 걸쳐 벤치마크 데이터셋에서 최첨단 정확도와 효율성을 달성합니다.
• 중점 보간은 포인트 생성과 학습을 분리하여 재학습 없이도 임의의 업샘플링 속도를 가능하게 합니다.
• 미분 가능한 점대점 거리 네트워크(P2PNet)는 그래디언트 기반 정제를 위한 안정적인 오라클을 제공합니다.
• 거리 기반 정제는 직접적인 3D 좌표 예측에 비해 이상치와 수축 아티팩트를 줄입니다.
• 이 방법은 의미 분류와 표면 재구성 같은 다운스트림 작업을 개선합니다.
• 노이즈와 다양한 입력 밀도에 대해 강건성을 보이면서 미처 보지 못한 속도에 대한 일반화도 유지합니다.