[논문 리뷰] Point-set Distances for Learning Representations of 3D Point Clouds

Trung Nguyen, Quang-Hieu Pham외 4명|arXiv (Cornell University)|2021. 02. 08.

3D Shape Modeling and Analysis참고 문헌 54인용 수 5

한 줄 요약

이 논문은 3D 포인트 클라우드 표현 학습을 위한 챔퍼 디스cre파시와 지구이동자 거리(EMD)의 우월한 대안으로 잘린 워셔스타인 거리(SWD) 및 그 변종을 제안한다. 효율적인 투영 기반 추정을 활용하여 SWD는 EMD 수준의 정확도를 확보하면서도 챔퍼 유사도와 유사한 계산 효율성을 확보하여, 자동에코딩, 생성 모델링, 레지지스트레이션, 전이 학습 등의 작업에서 더 빠른 수렴과 향상된 성능을 가능하게 한다.

ABSTRACT

Learning an effective representation of 3D point clouds requires a good metric to measure the discrepancy between two 3D point sets, which is non-trivial due to their irregularity. Most of the previous works resort to using the Chamfer discrepancy or Earth Mover's distance, but those metrics are either ineffective in measuring the differences between point clouds or computationally expensive. In this paper, we conduct a systematic study with extensive experiments on distance metrics for 3D point clouds. From this study, we propose to use sliced Wasserstein distance and its variants for learning representations of 3D point clouds. In addition, we introduce a new algorithm to estimate sliced Wasserstein distance that guarantees that the estimated value is close enough to the true one. Experiments show that the sliced Wasserstein distance and its variants allow the neural network to learn a more efficient representation compared to the Chamfer discrepancy. We demonstrate the efficiency of the sliced Wasserstein metric and its variants on several tasks in 3D computer vision including training a point cloud autoencoder, generative modeling, transfer learning, and point cloud registration.

연구 동기 및 목표

• 딥 러닝을 위한 포인트 클라우드 유사도 측정에서 챔퍼 디스어프시와 EMD의 한계를 해결하기 위해.
• EMD의 통계적 안정성과 챔퍼 손실의 계산 효율성을 결합한 메트릭을 특정하기 위해.
• 3D 포인트 클라우드에서 딥 네트워크 학습에 적합한 효율적이고 정확한 추정 알고리즘을 개발하기 위해.
• 자동에코딩, 생성, 레지지스트레이션, 전이 학습을 포함한 다양한 3D 컴퓨터 비전 작업에서 제안된 메트릭의 실증적 검증을 위해.

제안 방법

• 3D 포인트 클라우드 비교를 위한 미분 가능하고 계산 효율적인 메트릭으로 잘린 워셔스타인 거리(SWD)를 제안한다.
• 최적의 투영 샘플링을 통해 진짜 SWD 값에 가까운 추정을 보장하는 적응형 잘린 워셔스타인(ASW) 알고리즘을 도입한다.
• 3D 포인트 클라우드를 1차원 선에 무작위로 투영하여 SWD를 계산함으로써 차원을 감소시키면서도 구조적 유사성을 유지한다.
• 학습 중의 안정성과 수렴성을 향상시키기 위해 SWD의 제곱형태(SSW)와 최대-스라이스 변종(MSW)을 사용한다.
• 챔퍼 또는 EMD 손실을 대체하기 위해 자동에코더에 SWD 및 그 변종을 재구성 손실로 통합한다.
• 표준 딥 러닝 프레임워크(예: PointNet, PCN)를 사용하여 다양한 아키텍처와 데이터셋에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 잘린 워셔스타인 거리가 표현 학습을 위한 포인트 클라우드 유사도 측정에서 챔퍼 디스어프시와 EMD와 비교해 어떻게 성능을 내는가?
• RQ2 계산 효율성이 뛰어난 EMD의 변종인 잘린 워셔스타인 거리가 챔퍼 손실보다 더 우수한 일반화 및 수렴 성능을 보일 수 있는가?
• RQ3 제안된 적응형 잘린 워셔스타인 알고리즘이 학습 중에 진짜 SWD 값에 대해 신뢰할 수 있고 정확한 추정을 제공하는가?
• RQ4 SWD 기반 자동에코더는 레지지스트레이션, 생성, 전이 학습과 같은 후행 3D 비전 작업에서 성능을 얼마나 향상시키는가?
• RQ5 제안된 메트릭은 아키텍처에 종속되지 않으며 다양한 신경망 설계에 대해 3D 포인트 클라우드에서 효과적인가?

주요 결과

• 잘린 워셔스타인 거리(SWD)는 이론적으로 지구이동자 거리(EMD)와 동일하며 통계적 일致성을 보장하지만, 계산 복잡도는 O(N log N)로 챔퍼 손실과 유사하여 효율적이다.
• 제안된 적응형 잘린 워셔스타인(ASW) 알고리즘은 추정된 SWD 값이 진짜 값에 매우 가까운 것을 보장하여 신뢰할 수 있는 학습이 가능하다.
• ShapeNet과 ModelNet40 벤치마크에서, SWD 기반 자동에코더(SW-AE)는 포인트 클라우드 레지지스트레이션 작업에서 3DMatch에서 평균 리콜 57.4%를 달성하여 챔퍼(51.3%)와 EMD(50.3%) 기반 모델을 앞서며 우월한 성능을 보였다.
• 3D 자동에코딩 작업에서 SSW-AE는 300번째 에포크에 평균 챔퍼 거리 0.091을 기록하여 CD-AE(0.314)와 EMD-AE(0.144)보다 유의미하게 낮아 더 빠른 수렴을 보였다.
• PCN 아키텍처에서 SWD를 사용함으로써 ModelNet40에서 분류 정확도를 88.78%까지 향상시켜 챔퍼 손실 대비 0.33% 향상되었고, 재구성 오차는 65% 감소시켰다.
• SWD를 사용한 학습은 1회 반복당 138ms로, EMD(385ms)를 능가하고 챔퍼(120ms)와 유사한 수준의 계산 효율성을 확보하여 그 효율성을 입증했다.