[논문 리뷰] PU-GAN: a Point Cloud Upsampling Adversarial Network

Ruihui Li, Xianzhi Li외 3명|arXiv (Cornell University)|2019. 07. 25.

3D Shape Modeling and Analysis참고 문헌 45인용 수 12

한 줄 요약

PU-GAN은 적응형 학습을 통해 풍부하고 균일한 분포를 학습하는 GAN 기반의 포인트 클라우드 업샘플링 네트워크를 제안한다. 이는 희박하고 비균일한 포인트 클라우드를 향상시킨다. 오차 피드백이 있는 업-다운-업 특징 확장 유닛과 자체 주의 메커니즘을 도입하여, 합성 및 실측 데이터 모두에서 분포 균일성, 표면 근접도, 3D 재구성 품질 측면에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Point clouds acquired from range scans are often sparse, noisy, and non-uniform. This paper presents a new point cloud upsampling network called PU-GAN, which is formulated based on a generative adversarial network (GAN), to learn a rich variety of point distributions from the latent space and upsample points over patches on object surfaces. To realize a working GAN network, we construct an up-down-up expansion unit in the generator for upsampling point features with error feedback and self-correction, and formulate a self-attention unit to enhance the feature integration. Further, we design a compound loss with adversarial, uniform and reconstruction terms, to encourage the discriminator to learn more latent patterns and enhance the output point distribution uniformity. Qualitative and quantitative evaluations demonstrate the quality of our results over the state-of-the-arts in terms of distribution uniformity, proximity-to-surface, and 3D reconstruction quality.

연구 동기 및 목표

• 3D 스캔에서 유도된 희박하고 노이즈가 많으며 비균일한 포인트 클라우드의 업샘플링 과제를 해결하기 위해.
• 잠재 공간에서 다양한 실재성 있는 포인트 분포를 학습할 수 있도록 생성기의 능력을 향상시키기 위해.
• 업샘플링과 데이터 보완, 균일성 향상의 조합을 통해 포인트 클라우드 품질을 향상시키기 위해.
• 일반적인 학습 실패를 피할 수 있는 안정적인 GAN 프레임워크를 설계하기 위해.
• 분포 균일성, 표면 근접도, 3D 재구성 정밀도 측면에서 기존 방법을 능가하기 위해.

제안 방법

• 생성기는 오차 피드백과 자기 보정 기능을 갖춘 업-다운-업 확장 유닛을 사용하여 특징 확장을 향상시키고, 더 나은 포인트 생성을 달성한다.
• 지역 패치 내 포인트 간의 특징 통합을 강화하기 위해 자체 주의 유닛을 통합한다.
• 적대적, 균일성, 재구성 항목을 조합한 복합 손실 함수를 사용하여 엔드 투 엔드 학습을 이끌어낸다.
• 판별기는 실제 포인트 세트와 생성된 포인트 세트를 구분하도록 훈련되어, 비현실적이거나 비균일한 출력을 암묵적으로 처벌한다.
• 네트워크는 국소 표면 패치에서 훈련되어 국소적 업샘플링과 글로벌 일관성을 동시에 달성한다.
• 추론 중에는 가장 먼 샘플링을 사용하여 출력의 균일한 포인트 분포를 보장한다.

실험 결과

연구 질문

• RQ1 적대적 프레임워크를 기반으로 한 방법이 희박하고 비균일한 입력에서 균일하게 분포된 고품질의 포인트 클라우드를 효과적으로 학습할 수 있는가?
• RQ2 업-다운-업 확장 유닛은 포인트 클라우드 업샘플링에서 특징 표현과 자기 보정 능력을 어떻게 향상시키는가?
• RQ3 자기 주의 메커니즘이 특징 융합과 출력 품질을 어느 정도 향상시키는가?
• RQ4 적대적, 균일성, 재구성 항목을 포함한 복합 손실 함수가 더 나은 일반화와 안정성으로 이어지는가?
• RQ5 실측 LiDAR 데이터에서 PU-GAN은 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?

주요 결과

• PU-GAN은 다양한 벤치마크에서 분포 균일성, 표면 근접도, 3D 재구성 품질 측면에서 최고의 성능을 기록한다.
• 제거 실험 결과, GAN 프레임워크를 제거할 경우 성능 저하가 가장 크게 발생하여, 출력 품질 향상에 있어 핵심적인 역할을 한다는 것을 입증한다.
• 입력 포인트 수가 512개 이하거나 최대 1%의 가우시안 노이즈가 첨가된 경우에도 높은 안정성과 강건성을 유지한다.
• ModelNet40에서의 객체 분류 작업에서, PU-GAN을 사용해 희박한 포인트 클라우드를 업샘플링하면 분류 정확도가 82.4%에서 83.8%로 향상된다.
• 시각적 비교 결과, PU-GAN은 작은 구멍을 효과적으로 메우고 균일성을 향상시켜 PU-Net, MPU 및 기본 GAN 기반 기준보다 뛰어난 성능을 보인다.
• 네트워크는 패치 수준 처리 방식으로 인해 큰 간극을 다루는 데 한계가 있어, 향후 연구에서는 다중 척도 또는 글로벌 모델링이 필요하다.