[논문 리뷰] Snowflake Point Deconvolution for Point Cloud Completion and Generation with Skip-Transformer

Xiang Peng, Xin Wen외 5명|arXiv (Cornell University)|2022. 02. 18.

3D Shape Modeling and Analysis인용 수 16

한 줄 요약

이 논문은 Snowflake Point Deconvolution (SPD)를 사용하여 계층적이고 눈꽃 모양의 성장을 반복하는 방식으로 점군 생성을 모델링하는 새로운 점군 보완 및 생성 프레임워크인 SnowflakeNet을 제안한다. 스킵-트랜스포머를 통합하여 다중 수준 간의 공간적 관계를 학습함으로써 SPD는 국소적으로 구조화된 고해상도 점군을 생성하며, 보완, 업샘플링, 생성 작업에서 최신 기술(SOTA) 수준의 성능을 달성하면서도 모델 아키텍처는 매우 작다.

ABSTRACT

Most existing point cloud completion methods suffer from the discrete nature of point clouds and the unstructured prediction of points in local regions, which makes it difficult to reveal fine local geometric details. To resolve this issue, we propose SnowflakeNet with snowflake point deconvolution (SPD) to generate complete point clouds. SPD models the generation of point clouds as the snowflake-like growth of points, where child points are generated progressively by splitting their parent points after each SPD. Our insight into the detailed geometry is to introduce a skip-transformer in the SPD to learn the point splitting patterns that can best fit the local regions. The skip-transformer leverages attention mechanism to summarize the splitting patterns used in the previous SPD layer to produce the splitting in the current layer. The locally compact and structured point clouds generated by SPD precisely reveal the structural characteristics of the 3D shape in local patches, which enables us to predict highly detailed geometries. Moreover, since SPD is a general operation that is not limited to completion, we explore its applications in other generative tasks, including point cloud auto-encoding, generation, single image reconstruction, and upsampling. Our experimental results outperform state-of-the-art methods under widely used benchmarks.

연구 동기 및 목표

• 점군 생성의 이산적이고 비구조적인 성격으로 인해 완성되지 않은 3D 점군에서 세밀한 기하학적 세부 정보를 유지하는 데 도전한다.
• 기존 방법들이 다중 디코딩 레벨 간의 국소적 공간 관계를 모델링하지 못하는 한계를 극복한다.
• 보완 외의 작업(예: 업샘플링, 단일 이미지 복원 등)에도 적용 가능한 일반적인 점군 생성 연산(SP)을 개발한다.
• 작은 모델 크기로도 높은 품질의 구조화된 점군 생성을 달성하고, 다양한 3D 형태 작업에 대해 강력한 일반화 능력을 확보한다.

제안 방법

• Snowflake Point Deconvolution (SPD)는 다중 레이어에 걸쳐 계층적이고 눈꽃 모양의 성장을 반복하는 방식으로 부모 점을 재귀적으로 분할하여 자식 점을 생성한다.
• 스킵-트랜스포머 모듈은 이전 SPD 레이어들로부터의 공간 패턴을 자기주의(self-attention)를 통해 요약하여 현재 레이어의 점 분할을 안내함으로써 국소적 구조 학습을 향상시킨다.
• SPD는 국소적 수용장역을 정의하기 위해 k-최근접 이웃(k-NN)을 사용하여 분할 과정에서 점군의 국소성과 밀도를 보장한다.
• 스킵-트랜스포머는 디코딩 단계 간의 다중 수준 간 점군 간 공간 관계를 학습하여 날카로운 모서리나 매끄러운 표면의 예측 정확도를 향상시킨다.
• 보조 손실(예: 밀도 유지 또는 균일성 손실)이 필요 없이, L2 카프너 거리(CD) 손실을 사용하여 엔드 투 엔드로 네트워크를 훈련시킨다.
• SPD는 보완, 오토인코딩, 생성, 복원, 업샘플링 등 다양한 구성에 적용되어 그 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 SPD와 같은 계층적이고 재귀적인 점군 생성 메커니즘이 완성되지 않은 3D 점군에서 세밀한 기하학적 세부 정보를 효과적으로 복원할 수 있는가?
• RQ2 점군 디코딩 과정에서 국소적 구조 예측을 향상시키기 위해 점군 간의 다중 수준 간 공간 관계를 어떻게 모델링할 수 있는가?
• RQ3 보완 외의 다양한 3D 생성 작업에 효과적으로 적용 가능한 단일 일반 목적의 연산(SP)이 가능한가?
• RQ4 다중 수준 디코딩에서 표준 어텐션 또는 어텐션 없이 비교했을 때, 스킵-트랜스포머는 점군 품질을 어느 정도 향상시키는가?
• RQ5 다양한 벤치마크에서 최신 기술(SOTA) 방법과 비교했을 때, 정량적 지표와 시각적 정확도 측면에서 모델의 성능은 어떠한가?

주요 결과

• SnowflakeNet은 Completion3D 및 PCN 벤치마크에서 최신 기술(SOTA) 성능을 달성하며, L2 카프너 거리(CD)와 하우스도르프 거리(HD) 모두에서 기존 방법을 능가한다.
• 가장 먼 점 샘플링(Farthest Point Sampling, FPS) 조건에서, 복원 또는 균일성 손실을 사용한 방법들조차도 포함해 모든 비교 방법들 중 최고의 CD 및 HD 점수를 기록한다.
• 명시적인 균일성 또는 밀도 유지 손실 없이도, 시각적 비교를 통해 높은 점군 균일성과 표면 충실도를 유지함을 확인할 수 있다.
• 업샘플링 과제에서도 PU-Net, PU-GAN, Dis-PU를 모두 능가하는 CD 및 HD 성능을 기록하며, 특히 무작위 샘플링 조건에서 두드러진 성능 향상을 보였다.
• 경쟁 방법들보다 모델 크기가 크게 작아 높은 효율성과 파라미터 효율성을 입증했다.
• 시각적 결과에서 SnowflakeNet은 날카로운 모서리, 모서리, 매끄러운 표면 등의 복잡한 국소 구조를 지구본과 유사하게 잘 유지함을 확인할 수 있었다.