[논문 리뷰] SPU-Net: Self-Supervised Point Cloud Upsampling by Coarse-to-Fine Reconstruction with Self-Projection Optimization

Xinhai Liu, Xinchen Liu외 2명|arXiv (Cornell University)|2020. 12. 08.

3D Shape Modeling and Analysis인용 수 7

한 줄 요약

SPU-Net는 지도 학습이 필요한 정밀한 점군 데이터를 요구하지 않고도 희소 입력에서 고밀도 점군을 복원하는 자기지도 학습 기반 점군 상향 변환 방법을 제안한다. 이는 그래프 컬러블 네트워크와 자기주의 주의를 활용한 굵은-세밀한 프레임워크를 통해 특징을 추출하고, 학습 가능한 2차원 격자를 사용한 계층적 폴딩 전략을 통해 확장하며, 재구성, 균일성, 자기 투영을 조합한 공동 손실 함수를 통해 노이즈가 있는 점들을 기저 표면에 최적화하여, 최신 지도 학습 방법과 비교할 만한 성능을 달성한다.

ABSTRACT

The task of point cloud upsampling aims to acquire dense and uniform point sets from sparse and irregular point sets. Although significant progress has been made with deep learning models, state-of-the-art methods require ground-truth dense point sets as the supervision, which makes them limited to be trained under synthetic paired training data and not suitable to be under real-scanned sparse data. However, it is expensive and tedious to obtain large numbers of paired sparse-dense point sets as supervision from real-scanned sparse data. To address this problem, we propose a self-supervised point cloud upsampling network, named SPU-Net, to capture the inherent upsampling patterns of points lying on the underlying object surface. Specifically, we propose a coarse-to-fine reconstruction framework, which contains two main components: point feature extraction and point feature expansion, respectively. In the point feature extraction, we integrate the self-attention module with the graph convolution network (GCN) to capture context information inside and among local regions simultaneously. In the point feature expansion, we introduce a hierarchically learnable folding strategy to generate upsampled point sets with learnable 2D grids. Moreover, to further optimize the noisy points in the generated point sets, we propose a novel self-projection optimization associated with uniform and reconstruction terms as a joint loss to facilitate the self-supervised point cloud upsampling. We conduct various experiments on both synthetic and real-scanned datasets, and the results demonstrate that we achieve comparable performances to state-of-the-art supervised methods.

연구 동기 및 목표

• 학습을 위해 고비용의 희소-고밀도 쌍 데이터가 필요한 기존 지도 학습 기반 점군 상향 변환 방법의 한계를 해결하기 위해.
• 지상 진짜 고밀도 데이터가 없는 실제 스캔된 희소 점군에 대해 효과적인 상향 변환을 가능하게 하기 위해.
• 희소 입력만으로도 내재된 상향 변환 패턴을 학습할 수 있는 자기지도 학습 프레임워크를 개발하기 위해.
• 노이즈를 줄이고 표면 무결성을 유지함으로써 생성된 고밀도 점군의 품질을 향상시키기 위해.
• 합성 및 실제 데이터셋 모두에서 경쟁적인 성능을 달성하면서도 계산 효율성을 유지하기 위해.

제안 방법

• 희소 입력 패치를 굵은 패치로 다운샘플링하고, 이를 재구성하여 고밀도 점 생성을 유도하는 굵은-세밀한 재구성 프레임워크를 설계하였다.
• 지역적 정보와 맥락적 정보를 동시에 캡처하기 위해 그래프 컬러블 네트워크(GCN)와 자기주의 주의를 조합한 점 특징 추출 기법을 사용하였다.
• 군데 특징에서 고밀도 점 집합을 생성하기 위해 2차원 격자를 사용한 계층적 학습 가능한 폴딩 전략을 활용한 점 특징 확장 기법을 적용하였다.
• 노이즈가 있는 점들을 기저 표면에 투영하기 위해 새로운 자기 투영 최적화 기법을 도입하였다.
• 재구성, 균일성, 자기 투영 항목을 조합한 공동 손실 함수를 통해 상향 변환 과정에서 공간 무결성과 분포 일관성을 강화하였다.
• 입력 희소 점군만을 지도로 사용하여, 전체적으로 자기지도 학습 방식으로 엔드 투 엔드로 학습하였다.

실험 결과

연구 질문

• RQ1 지상 진짜 고밀도 점군 데이터가 없는 상황에서 자기지도 학습 프레임워크가 상향 변환 패턴을 효과적으로 학습할 수 있는가?
• RQ2 군데-세밀한 재구성 전략은 점군 상향 변환의 품질과 일관성을 어떻게 향상시키는가?
• RQ3 자기 투영 최적화 기법은 비지도 학습 상황에서 노이즈가 있는 점들을 얼마나 줄이고 표면의 정확성을 향상시키는가?
• RQ4 합성 데이터 분포와 다를 수 있는 실제 스캔된 희소 점군에 대해 제안된 방법은 얼마나 잘 일반화되는가?
• RQ5 계층적 폴딩과 공동 손실 구성 요소는 최종 상향 변환 성능에 어떤 영향을 미치는가?

주요 결과

• SPU-Net는 지상 진짜 고밀도 지도 데이터가 없는 상황에서도 합성 및 실제 스캔 데이터셋에서 최신 지도 학습 방법과 비교할 만한 성능을 달성하였다.
• 모델은 0.1%, 0.5%, 1%, 2%의 노이즈 수준에 걸쳐 높은 수준의 정확도를 유지하며 노이즈에 강건함을 입증하였다.
• 제거 분석 결과, 굵은-세밀한 프레임워크, 계층적 폴딩, 자기 투영 손실 모두 성능 향상에 기여하는 것으로 확인되었다.
• 자기 투영 손실은 점들을 기저 표면에 투영함으로써 노이즈를 효과적으로 줄여 기하학적 정확성을 향상시켰다.
• SPU-Net는 계산 효율성이 뛰어나 총 1.86 GFLOPs 및 0.68 Mb의 파라미터를 가지며, 인퍼런스 속도와 모델 크기 측면에서 여러 이전 방법들을 능가하였다.
• 정성적 결과에서는 의자 뒷받통이나 손가락과 같은 복잡한 영역에서 뛰어난 세부 구조 보존 능력을 보이며, 기존의 지도 학습 방법보다 국소 분포 품질에서 뛰어난 성능을 보였다.