[논문 리뷰] One Framework to Register Them All: PointNet Encoding for Point Cloud Alignment

Vinit Sarode, Xue-Qian Li외 6명|arXiv (Cornell University)|2019. 12. 12.

3D Shape Modeling and Analysis참고 문헌 42인용 수 11

한 줄 요약

이 논문은 PointNet 인코딩을 활용하여 대응 관계 계산 없이 템플릿과 소스 포인트 클라우드를 정렬하는 새로운, 미분 가능한 프레임워크를 제안한다. 완전히 연결된 계층 또는 Lucas-Kanade 최적화를 사용하는 시아모이스(PointNet) 아키텍처를 통해 높은 정확도와 노이즈 및 부분 데이터에 대한 강건성을 달성하였으며, ICP와 Go-ICP에 비해 빠른 속도를 보이며 글로벌 정렬 시나리오에서 Go-ICP의 정확도를 유지한다.

ABSTRACT

PointNet has recently emerged as a popular representation for unstructured point cloud data, allowing application of deep learning to tasks such as object detection, segmentation and shape completion. However, recent works in literature have shown the sensitivity of the PointNet representation to pose misalignment. This paper presents a novel framework that uses PointNet encoding to align point clouds and perform registration for applications such as 3D reconstruction, tracking and pose estimation. We develop a framework that compares PointNet features of template and source point clouds to find the transformation that aligns them accurately. In doing so, we avoid computationally expensive correspondence finding steps, that are central to popular registration methods such as ICP and its variants. Depending on the prior information about the shape of the object formed by the point clouds, our framework can produce approaches that are shape specific or general to unseen shapes. Our framework produces approaches that are robust to noise and initial misalignment in data and work robustly with sparse as well as partial point clouds. We perform extensive simulation and real-world experiments to validate the efficacy of our approach and compare the performance with state-of-art approaches. Code is available at https://github.com/vinits5/pointnet-registrationframework.

연구 동기 및 목표

• 실세계 포인트 클라우드 데이터에서 포즈 오차에 민감한 PointNet의 문제를 해결하기 위해.
• ICP 및 그 변종에서 볼 수 있는 비용이 많이 드는 대응 관계 계산을 피하는 통합된 포인트 클라우드 정렬 프레임워크를 개발하기 위해.
• PointNet를 통한 학습된 사전 지식을 활용하여 노이즈, 부분 관측, 희소 데이터 상황에서도 강건한 정렬을 가능하게 하기 위해.
• 형태 특화 및 일반화 가능한 정렬 접근 방식을 모두 지원하는 유연한 프레임워크를 제공하기 위해.
• 딥 러닝 파ip라인에 통합 가능한 엔드 투 엔드 미분 가능한 정렬을 제공하여 3D 복원 및 추적과 같은 후속 작업에 활용하기 위해.

제안 방법

• 시아모이스(PointNet) 아키텍처가 템플릿과 소스 포인트 클라우드를 공유된 특징 벡터로 인코딩한다.
• 완전히 연결된 계층 또는 Lucas-Kanade 알고리즘을 사용하여 인코딩된 특징 간의 변환을 회귀하여 자세 추정을 수행한다.
• 프레임워크는 완전히 미분 가능하여 CPU 기반의 대응 관계 계산 없이 엔드 투 엔드 학습과 GPU 가속을 가능하게 한다.
• 반복적 정밀 조정을 위해 변환된 소스 클라우드를 네트워크에 다시 입력하여 정렬 성능을 향상시킬 수 있다.
• 노이즈 및 불완전한 데이터에 대한 강건성을 향상시키기 위해 학습 중에 형태 특화 사전 지식을 통합한다.
• 반복적 및 비반복적 변종을 모두 지원하여 속도와 정확도 사이의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 PointNet 기반 특징 인코딩을 사용하여 높은 정확도와 강건성을 확보하는 대응 관계 없는 포인트 클라우드 정렬이 가능한가?
• RQ2 학습 중에 형태 특화 사전 지식을 통합할 경우 노이즈가 많거나 희소한 포인트 클라우드에서의 성능에 어떤 영향을 미치는가?
• RQ3 반복적 및 비반복적 프레임워크 변종을 사용할 경우 계산 효율성과 정확도 사이의 상충 관계는 어떻게 되는가?
• RQ4 최신 학습 기반 및 전통적인 정렬 방법과 비교했을 때 프레임워크의 강건성과 속도는 어떠한가?
• RQ5 프레임워크는 새로운 객체 카테고리로 일반화되면서도 실세계 데이터에서 성능을 유지할 수 있는가?

주요 결과

• 반복적 변종(i-PCRNet)은 회전 오차 1.03°와 변환 오차 0.85×10⁻² 단위를 달성하여 Go-ICP의 정확도를 유지하면서도 계산 시간을 1000배 줄였다.
• 비반복적 PCRNet 변종은 평균 1.89ms 내에 실행되어 95% AUC를 달성하여 실시간 사전 정렬 작업에 적합하다.
• 희소 데이터로 훈련한 i-PCRNet는 희소 테스트 데이터에서 회전 오차 3.59°를 기록하여 낮은 포인트 밀도에 대한 강건성을 입증했다.
• S3DIS 데이터셋의 실세계 실내 환경에서 i-PCRNet는 자세 추정을 통해 의자를 다른 모델로 교체하는 데 성공했으며, ICP 및 글로벌 정렬 방법을 초월했다.
• PointNet를 VoxNet로 대체한 변종인 VoxReg는 ICP와 유사한 성능을 보였으며, 프레임워크가 다양한 백본 인코더와도 유연하게 통합될 수 있음을 확인했다.
• 프레임워크의 미분 가능성 덕분에 ICP와 같은 비미분 가능한 방법과 달리 엔드 투 엔드 딥 러닝 파이프라인에 원활하게 통합될 수 있다.