[논문 리뷰] PoinTr: Diverse Point Cloud Completion with Geometry-Aware Transformers

Xumin Yu, Yongming Rao외 4명|arXiv (Cornell University)|2021. 08. 19.

3D Shape Modeling and Analysis참고 문헌 45인용 수 25

한 줄 요약

PoinTr은 점군 보완을 기하학 인식 Transformer와 점 프록시를 사용한 세트-투-세트 번역으로 재구성하여 ShapeNet-55/34, PCN, KITTI를 포함한 다양한 벤치마크에서 최첨단 결과를 달성합니다.

ABSTRACT

Point clouds captured in real-world applications are often incomplete due to the limited sensor resolution, single viewpoint, and occlusion. Therefore, recovering the complete point clouds from partial ones becomes an indispensable task in many practical applications. In this paper, we present a new method that reformulates point cloud completion as a set-to-set translation problem and design a new model, called PoinTr that adopts a transformer encoder-decoder architecture for point cloud completion. By representing the point cloud as a set of unordered groups of points with position embeddings, we convert the point cloud to a sequence of point proxies and employ the transformers for point cloud generation. To facilitate transformers to better leverage the inductive bias about 3D geometric structures of point clouds, we further devise a geometry-aware block that models the local geometric relationships explicitly. The migration of transformers enables our model to better learn structural knowledge and preserve detailed information for point cloud completion. Furthermore, we propose two more challenging benchmarks with more diverse incomplete point clouds that can better reflect the real-world scenarios to promote future research. Experimental results show that our method outperforms state-of-the-art methods by a large margin on both the new benchmarks and the existing ones. Code is available at https://github.com/yuxumin/PoinTr

연구 동기 및 목표

• 가려짐, 센서 및 시점으로 인한 실제 세계의 불완전한 점군에 대한 동기 부여와 해결.
• 점군 보완을 세트-투-세트 변환 문제로 재정의한다.
• 기하학적으로 인식된 블록을 갖춘 Transformer 인코더-디코더를 활용해 3D 구조적 관계를 학습한다.
• 실세계의 불완전함과 다양성을 더 잘 반영하기 위한 새로운 도전 벤치마크를 개발한다.

제안 방법

• 부분 포인트 클라우드를 포인트 프록시의 시퀀스로 표현하여 Transformer 인코더-디코더에 입력한다.
• 로컬 3D 기하학적 관계를 kNN 기반 접근법으로 명시적으로 모델링하는 기하학 인식 Transformer 블록을 도입한다.
• 디코더에서 인코더 조건의 다이나믹한 질의를 사용해 누락된 포인트 프록시를 생성한다.
• FoldingNet을 사용해 거칠게부터 미세하게 보완하는 다중 스케일 생성 모듈로 누락된 부분을 보완한다.
• Proxy 중심과 전체 포인트 클라우드에 대해 Chamfer Distance 손실(J = J0 + J1)로 최적화한다.

실험 결과

연구 질문

• RQ1 포인트 클라우드 보완을 위해 트랜스포머가 장거리 및 근접 기하학적 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 기하학 인식 블록과 다이나믹한 질의를 도입하면 보완 품질과 서로 다른 형태 및 불완전도 수준에 대한 일반화가 향상되는가?
• RQ3 새로운 다양한 벤치마크가 실제 세계 시나리오에서 모델의 강건성과 일반화를 더 잘 드러내는가?
• RQ4 다양한 카테고리와 시점에서 PoinTr이 기존 최첨단 방법과 비교하여 어떤 성능을 보이는가?
• RQ5 ShapeNet 기반 벤치마크에서 실제 LiDAR 데이터(KITTI)로의 fine-tuning 후에 접근 방식이 일반화될 수 있는가?

주요 결과

• PoinTr은 ShapeNet-55, ShapeNet-34, PCN, KITTI를 포함한 여러 벤치마크에서 이전 최첨단 방법보다 큰 차이로 우수한 성능을 보인다.
• ShapeNet-55에서 PoinTr은 GRNet보다 큰 CD-ell2 향상을 달성한다(간단 설정 0.58, 보통 0.60, 어려움 0.69).
• ShapeNet-55에서 PoinTr은 이전 최고치(GRNet)인 0.24에 비해 0.46의 F-스코어를 달성한다.
• ShapeNet-34에서 보이는 범주에 대해 PoinTr이 모든 방법을 선도하며, 보이지 않는 범주에 대해서도 더 잘 일반화되고 간단한 설정에서의 성능 저하가 작다.
• PCN에서 PoinTr은 범주 전체에 걸쳐 평균 8.38의 CD-ell1 성능을 달성하여 FoldingNet, PCN, TopNet, PFNet, GRNet 등보다 우수하다.
• 정성적 결과에서 PoinTr이 더 섬세한 디테일과 경계(예: 자동차 타이어)를 회복하고 다양한 불완전 패턴에 더 강인함을 보인다.