[논문 리뷰] PU-GCN: Point Cloud Upsampling using Graph Convolutional Networks

Guocheng Qian, Abdulellah Abualshour외 3명|arXiv (Cornell University)|2019. 11. 30.

3D Shape Modeling and Analysis참고 문헌 41인용 수 27

한 줄 요약

이 논문은 그래프 컬러리션 네트워크 기반 업샘플링 모듈(노드셔플)과 다중 척도 특징 추출기(Inception DenseGCN)를 통합한 새로운 포인트 클라우드 업샘플링 프레임워크인 PU-GCN을 제안한다. GCN을 활용해 국소 포인트 이웃 구조를 모델링하고, 밀집된 다중 척도 특징 학습을 통해 더 적은 파라미터 수와 더 빠른 추론 속도로 최신 기술 수준의 성능을 달성하며, 합성 및 실제 데이터 모두에서 기존 방법들을 능가한다.

ABSTRACT

The effectiveness of learning-based point cloud upsampling pipelines heavily relies on the upsampling modules and feature extractors used therein. For the point upsampling module, we propose a novel model called NodeShuffle, which uses a Graph Convolutional Network (GCN) to better encode local point information from point neighborhoods. NodeShuffle is versatile and can be incorporated into any point cloud upsampling pipeline. Extensive experiments show how NodeShuffle consistently improves state-of-the-art upsampling methods. For feature extraction, we also propose a new multi-scale point feature extractor, called Inception DenseGCN. By aggregating features at multiple scales, this feature extractor enables further performance gain in the final upsampled point clouds. We combine Inception DenseGCN with NodeShuffle into a new point upsampling pipeline called PU-GCN. PU-GCN sets new state-of-art performance with much fewer parameters and more efficient inference.

연구 동기 및 목표

• 기존 포인트 클라우드 업샘플링 방법이 국소 기하학적 디테일과 구조적 충실도를 유지하는 데에 한계가 있음을 해결하기 위해.
• 다운샘플링으로 인한 해상도 손실 없이 국소 다중 척도 구조를 학습함으로써 업샘플링 파ip라인의 특징 표현을 향상시키기 위해.
• 기존 아키텍처에 쉽게 통합할 수 있는 경량화되고 효율적이며 일반화 능력이 뛰어난 업샘플링 모듈을 개발하기 위해.
• 현재 기계학습 기반 업샘플링 방법을 평가하고 도전할 수 있는 대규모 벤치마크 데이터셋 PU1K를 제안하기 위해.
• 포인트 이웃 구조에 GCN 기반 모델링이 MLP 기반 또는 복제 기반 접근 방식보다 업샘플링 품질을 크게 향상시킨다는 것을 입증하기 위해.

제안 방법

• 국소 포인트 이웃 정보를 GCN 레이어를 통해 인코딩하여 새로운 구조적으로 일관된 포인트를 생성하는 그래프 컬러리션 네트워크 기반 업샘플링 모듈인 노드셔플을 제안한다.
• 다양한 수신 영역을 갖춘 특징을 추출하기 위해 인셉션 모듈을 영감으로 삼은 다중 경로, 밀집 연결된 GCN 아키텍처인 인셉션 디펜스GCN을 도입한다.
• 노드셔플과 인셉션 디펜스GCN을 통합하여 종단 간 학습이 가능한 유일한 파이프라인인 PU-GCN을 구성한다.
• 학습 안정성 향상과 특징 전파 개선을 위해 노드셔플 모듈에 잔차 연결과 글로벌 풀링을 적용한다.
• 파ram터 수나 계산 비용을 증가시키지 않으면서 수신 영역을 확장하기 위해 노드셔플에서 확장된 그래프 컬러리션을 사용한다.
• 합성 및 실제 스캔된 포인트 클라우드를 포함한 새로운 대규모 데이터셋 PU1K를 활용해 모델을 훈련하고 평가한다.

실험 결과

연구 질문

• RQ1 GCN 기반 업샘플링 모듈이 세밀한 기하학적 디테일을 유지하는 데 있어 기존의 복제 기반 또는 MLP 기반 업샘플러보다 뛰어난가?
• RQ2 인셉션 스타일의 GCN 아키텍처를 통한 다중 척도 특징 학습이 단일 척도 또는 다운샘플링된 다중 척도 방법에 비해 업샘플된 포인트 클라우드의 품질을 향상시키는가?
• RQ3 제안된 노드셔플 모듈이 기존 업샘플링 파이프라인에 효과적으로 이식되고 통합되어 아키텍처의 대대적 개선 없이 성능 향상을 이끌 수 있는가?
• RQ4 노이즈가 많고 희박한 실제 포인트 클라우드에서 PU-GCN은 최신 기술 수준의 방법들보다 어떻게 성능을 내는가?
• RQ5 새로운 PU1K 데이터셋이 기존 기계학습 기반 업샘플링 모델을 얼마나 도전적으로 평가하는가?

주요 결과

• PU1K 데이터셋에서 PU-GCN은 Chamfer Distance(CD) 0.585 × 10⁻³과 Hausdorff Distance(HD) 7.577 × 10⁻³을 기록하여 모든 기존 방법들을 능가한다.
• 노드셔플 모듈을 도입함으로써 원본 3PU 기준 CD는 16.6% 감소하고 HD는 43.4% 감소한다.
• PU-Net과 3PU보다 43% 적은 파라미터 수와 13% 더 빠른 추론 시간으로 더 뛰어난 성능을 달성한다.
• 아블레이션 스터디 결과, 노드셔플 내 GCN 레이어가 동등한 MLP보다 우수하며, 잔차 연결 또는 글로벌 풀링을 제거하면 성능 저하가 발생한다.
• PU-GCN은 입력 크기에 관계없이 잘 일반화되며, 최대 10%의 가우시안 노이즈가 첨가된 상황에서도 높은 품질의 출력을 유지하며, 아웃라이어 감소와 디테일 유지에서 PU-GAN을 능가한다.
• 정성적 결과에서는 3PU와 PU-GAN에 비해 더 세밀한 디테일(예:faucet의 목과 볼)을 생성하고 더 적은 아티팩트를 유발함으로써 특히 실제 스캔 데이터에서 뛰어난 성능을 보였다.