[논문 리뷰] PU-Transformer: Point Cloud Upsampling Transformer

Shi Qiu, Saeed Anwar외 1명|arXiv (Cornell University)|2021. 11. 24.

3D Shape Modeling and Analysis참고 문헌 58인용 수 13

한 줄 요약

PU-Transformer는 점군의 밀도를 높이는 데 있어 기존의 트랜스포머 기반 모델보다 뛰어난 성능을 보이며, 점별 및 채널 간 특징 관계를 향상시키기 위해 이격된 채널 멀티헤드 자기주의(Sc-MSA) 블록을 활용하고, 국소 기하학적 맥락을 포착하기 위해 위치 융합 블록을 도입한다. 이는 합성 및 실세계 기준에서 최고 성능을 기록하며, 단일 GPU에서 효율적으로 작동하면서도 품질과 구조적 세부 정보에서 CNN 기반 방법을 능가한다.

ABSTRACT

Given the rapid development of 3D scanners, point clouds are becoming popular in AI-driven machines. However, point cloud data is inherently sparse and irregular, causing significant difficulties for machine perception. In this work, we focus on the point cloud upsampling task that intends to generate dense high-fidelity point clouds from sparse input data. Specifically, to activate the transformer's strong capability in representing features, we develop a new variant of a multi-head self-attention structure to enhance both point-wise and channel-wise relations of the feature map. In addition, we leverage a positional fusion block to comprehensively capture the local context of point cloud data, providing more position-related information about the scattered points. As the first transformer model introduced for point cloud upsampling, we demonstrate the outstanding performance of our approach by comparing with the state-of-the-art CNN-based methods on different benchmarks quantitatively and qualitatively.

연구 동기 및 목표

• 고도의 3D 비전 작업을 방해하는 점군 데이터의 본질적 희소성과 비정규성을 해결하기 위해.
• 희소 입력에서 고정밀도, 균일한 분포를 가진 고밀도 점군을 생성하는 딥 러닝 모델을 개발하기 위해.
• CNN과 MLP의 한계를 극복하기 위해 트랜스포머의 전역 모델링 능력을 활용하여 점군 복원에 적용하기 위해.
• 최소한의 계산 비용으로 실세계에 적합한 경량적이고 효율적인 트랜스포머 아키텍처를 설계하기 위해.
• 다양한 입력 해상도와 실세계 점군 유형에 유연하게 적용 가능한 복원 기능을 제공하기 위해.

제안 방법

• 겹치는 헤드 채널을 통해 점별 및 채널 간 특징 의존성을 향상시키는 이격된 채널 멀티헤드 자기주의(Sc-MSA) 블록을 도입한다.
• 표준 위치 인코딩을 대체하여 국소 기하학적 및 특징 맥락을 인코딩하기 위해 위치 융합 블록을 활용한다.
• 특징 표현을 점진적으로 개선하기 위해 트랜스포머 인코더의 캐스케이드 스택(L=5)을 핵심 구성요소로 사용한다.
• 특징을 투영하고 복원된 점 좌표를 생성하기 위해 단순하고 학습 가능한 헤드 및 尾 모듈을 적용한다.
• 다양한 스케일(예: 4×, 16×)에서의 융통성 있는 복원을 가능하게 하기 위해 패치 기반 추론 파이프라인을 채택한다.
• 좌표 예측을 위한 표준 L1 손실을 사용하여 희소에서 고밀도 점군 복원에 대해 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 아키텍처가 장거리 의존성과 특징 상호작용을 더 잘 모델링함으로써, CNN 기반 방법보다 점군 복원에서 승승을 거둘 수 있는가?
• RQ2 제안된 Sc-MSA 블록이 희소 점군에서 점별 및 채널 간 관계를 얼마나 효과적으로 포착하는가?
• RQ3 표준 위치 임베딩에 비해 위치 융합 블록이 국소 맥락 인코딩을 얼마나 향상시키는가?
• RQ4 경량 트랜스포머 모델이 최소한의 계산 비용과 단일 GPU 훈련으로도 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 PU-Transformer는 다양한 입력 크기와 실세계 점군 분포에 대해 얼마나 강건한가?

주요 결과

• PU-Transformer는 합성 및 실세계 점군 복원 벤치마크에서 모두 최고 성능을 기록하며, PU-GAN, PU-GCN, Dis-PU와 같은 CNN 기반 방법을 수치적 지표에서 모두 능가한다.
• ShapeNet 데이터셋에서 4× 복원 시 Chamfer 거리(CD)가 0.00044로 기록되어 이전 방법들보다 뚜렷이 뛰어나다.
• 정성적 결과에서는 특히 'Panda'와 '의자'와 같은 물체의 가장자리 및 윤곽선 같은 미세한 세부 정보를 잘 유지하며 구조적 정밀도와 균일한 분포를 확보한다.
• 256에서 2048점까지 다양한 입력 크기에서 높은 성능를 유지하며, 저해상도 입력에서도 고밀도이고 고품질의 출력을 생성한다.
• 모델은 효율적이며 단일 GPU에서 약 3시간 내외로 훈련되며, 파라미터 수가 약 0.97M에 불과하여 실세계 적용에 실용적이다.
• 시각화 결과는 위치 융합 블록이 국소 맥락을 향상시켜 ScanObjectNN 및 SemanticKITTI의 실측 스캔에서 더 정확하고 균일한 복원을 이끌어낸다는 것을 확인한다.