[논문 리뷰] Arbitrary Point Cloud Upsampling with Spherical Mixture of Gaussians

Anthony Dell’Eva, Marco Orsingher외 1명|arXiv (Cornell University)|2022. 08. 10.

3D Shape Modeling and Analysis인용 수 4

한 줄 요약

이 논문은 고정된 비율로만 작동하는 기존의 포인트 클라우드 업샘플링 모델의 한계를 해결하기 위해, 단일 모델을 통해 임의의 비율(정수 및 비정수 포함)로 업샘플링이 가능한 Transformer 기반의 APU-SMOG를 제안한다. 이 방법은 입력 포인트 클라우드를 단위 구면 상의 구면 혼합 정규분포(Spherical Mixture of Gaussians, SMOG)로 매핑함으로써, 테스트 시에 임의의 수의 포인트를 샘플링할 수 있도록 하며, 네트워크 아키텍처와 업샘플링 비율을 분리함으로써 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Generating dense point clouds from sparse raw data benefits downstream 3D understanding tasks, but existing models are limited to a fixed upsampling ratio or to a short range of integer values. In this paper, we present APU-SMOG, a Transformer-based model for Arbitrary Point cloud Upsampling (APU). The sparse input is firstly mapped to a Spherical Mixture of Gaussians (SMOG) distribution, from which an arbitrary number of points can be sampled. Then, these samples are fed as queries to the Transformer decoder, which maps them back to the target surface. Extensive qualitative and quantitative evaluations show that APU-SMOG outperforms state-of-the-art fixed-ratio methods, while effectively enabling upsampling with any scaling factor, including non-integer values, with a single trained model. The code is available at https://github.com/apusmog/apusmog/

연구 동기 및 목표

• 기존의 포인트 클라우드 업샘플링 모델이 각 고정 비율에 대해 재학습이 필요하다는 한계를 해결하기 위해.
• 비정수 값을 포함한 임의의 업샘플링 비율을 단일 트레이닝된 모델로 지원하기 위해.
• 중간 단계의 확률적 표현을 사용하여 업샘플링 과정을 네트워크 아키텍처에서 분리하기 위해.
• 학습 가능한 구면 분포와 주목적 기반 정밀 조정을 통해 희박하고 노이즈가 있는 입력에 대한 일반화 및 강건성을 향상시키기 위해.
• 출력 해상도의灵活性를 유지하면서도 여러 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 입력으로 주어진 희박한 포인트 클라우드는 단위 구면 상의 구면 혼합 정규분포(SMOG) 분포로 인코딩되며, 각 포인트는 혼합 가중치와 구면 좌표계 상의 이元정규분포를 갖는다.
• SMOG 분포의 파라미터(구면 좌표계 상의 평균 및 분산)는 신경망을 통해 예측되며, 이는 입력 표면에 대한 局소적이고 적응적인 확률적 표현을 가능하게 한다.
• 학습된 SMOG 분포에서 테스트 시 임의의 수의 포인트를 샘플링함으로써, 원하는 해상도로의 유연한 업샘플링이 가능해진다.
• 샘플링된 포인트들은 쿼리로 사용되어 Transformer 디코더에 입력되며, 이는 출력 해상도를 모델 아키텍처에서 분리함으로써 가능해진다.
• 국소 자기주목적 기반 잔차 정밀 조정 블록을 적용하여 이질적인 포인트를 보정하고 최종 출력의 기하학적 정확도를 향상시킨다.
• 재구성 손실의 조합을 사용하여 모델을 학습한다: 포인트 간 거리 손실(P2F), 하우스도르프 거리 손실(HD), 그리고 투영 손실(Π)을 통해 가우시안 평균이 표면과 일치하도록 유도한다.

실험 결과

연구 질문

• RQ1 재학습 없이도 임의의 업샘플링 비율(비정수 포함)을 지원하는 단일 신경망 모델이 가능할 수 있는가?
• RQ2 중간 표현으로서의 구면 혼합 정규분포(SMOG)를 학습함으로써, 고정 샘플링 전략에 비해 더 나은 일반화 및 유연성을 달성할 수 있는가?
• RQ3 주목적 기반 정밀 조정을 갖춘 Transformer 기반 디코더는 학습된 분포의 임의의 샘플에서 고해상도 포인트 클라우드를 재구성하는 데 얼마나 효과적인가?
• RQ4 각 손실 성분(예: 투영 손실, 재구성 손실)이 최종 성능 및 강건성에 기여하는 정도는 어떠한가?
• RQ5 희박한 입력과 노이즈가 있는 포인트 클라우드에서도 세밀한 기하학적 세부 사항을 유지하면서 일반화가 잘 되는가?

주요 결과

• APU-SMOG는 여러 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, PU1K 데이터셋에서 카멘 거리(CD) 0.528×10⁻³, 하우스도르프 거리(HD) 2.549×10⁻³, P2F 1.667×10⁻³의 성능을 기록하였다.
• 절단 실험을 통해 SMOG 표현이 균일한 샘플링(FoldingNet 유사)보다 우수함을 입증하였으며, CD 0.558×10⁻³을 기록함으로써 적응적인 局소 분포의 이점이 확인되었다.
• 잔차 정밀 조정 블록을 제거할 경우 HD가 8.536×10⁻³으로 증가하여, 이는 이 블록이 이질적인 포인트를 효과적으로 감소시키고 표면의 정확도를 향상시킨다는 것을 시사한다.
• 업샘플링에 있어 투영 손실(ℒΠ)이 ACD 손실(ℒACD)보다 더 효과적임을 확인하였으며, ℒACD를 사용할 경우 P2F 점수가 2.694×10⁻³로 상승한 반면, ℒΠ를 사용할 경우 1.667×10⁻³으로 더 우수한 성능을 기록하였다.
• 희박한 입력(최소 256개 포인트)과 노이즈가 있는 데이터에서도 잘 일반화되며, 추가 가우시안 노이즈(σ=0.02) 조건에서도 말발굽과 자동차 창문 등의 세밀한 구조를 잘 유지하였다.
• 단일 모델을 r=4에서 학습한 상태에서 비정수 비율(r=2.34, r=4.93 등)으로도 성공적으로 업샘플링을 수행하여 진정으로 임의의 업샘플링 비율을 지원하는 능력을 입증하였다.