[논문 리뷰] PointNetLK: Robust & Efficient Point Cloud Registration using PointNet

Yasuhiro Aoki, Hunter Goforth외 2명|arXiv (Cornell University)|2019. 03. 13.

3D Surveying and Cultural Heritage참고 문헌 45인용 수 16

한 줄 요약

PointNetLK는 PointNet를 수정된 Lucas-Kanade 알고리즘과 통합하여, 강력하고 효율적인 포인트 클라우드 정렬을 위한 유연하고 엔드 투 엔드로 훈련 가능한 프레임워크를 제안한다. PointNet을 학습 가능한 영상 함수로 재해석하고 LK 알고리즘의 컨볼루션 기반 기울기 계산을 회피함으로써, 이 방법은 최신 기술 수준의 정확도, 다양한 형태 범주에 대한 일반화 능력, O(n) 계산 복잡도를 달성하며, 초기화에 대한 강건성과 효율성 면에서 ICP 및 기타 딥 러닝 기반 방법들을 능가한다.

ABSTRACT

PointNet has revolutionized how we think about representing point clouds. For classification and segmentation tasks, the approach and its subsequent extensions are state-of-the-art. To date, the successful application of PointNet to point cloud registration has remained elusive. In this paper we argue that PointNet itself can be thought of as a learnable "imaging" function. As a consequence, classical vision algorithms for image alignment can be applied on the problem - namely the Lucas & Kanade (LK) algorithm. Our central innovations stem from: (i) how to modify the LK algorithm to accommodate the PointNet imaging function, and (ii) unrolling PointNet and the LK algorithm into a single trainable recurrent deep neural network. We describe the architecture, and compare its performance against state-of-the-art in common registration scenarios. The architecture offers some remarkable properties including: generalization across shape categories and computational efficiency - opening up new paths of exploration for the application of deep learning to point cloud registration. Code and videos are available at https://github.com/hmgoforth/PointNetLK.

연구 동기 및 목표

• PointNet의 성공에도 불구하고 분류 및 분할 작업에만 국한되어 있던 포인트 클라우드 정렬에 PointNet를 적용하는 데 도전하는 것.
• 포인트 클라우드의 순서 없는, 그리드 기반이 아닌 표현 방식인 PointNet의 특성에 맞게 고전적인 Lucas-Kanade 알고리즘을 수정하여, 국소적 공간 기울기가 없는 환경에서도 작동하도록 하는 것.
• PointNet와 LK 모듈을 단일 훈련 가능한 시스템으로 전개하는 반복 신경망 아키텍처를 개발하여 엔드 투 엔드 최적화를 위한 완전히 미분 가능한, 반복적인 네트워크 아키텍처를 설계하는 것.
• 각기 다른 신체 유형에 대해 세부 조정 없이도 다양한 형태와 범주에 걸쳐 강건한 정렬을 달성하는 것.
• 포인트 대응 계산을 피하고 CPU 기반 ICP 반복을 제거함으로써 계산 효율성을 향상시키고 GPU 가속을 가능하게 하는 것.

제안 방법

• 순서 없는 포인트 클라우드를 고정된 차원의 특징 벡터로 매핑하는 학습 가능한 영상 함수로 PointNet를 재해석함으로써, 영상 정렬 기법의 적용을 가능하게 하는 것.
• 변환 매개변수의 무한소 변형을 사용하여 기울기 행렬을 해석적으로 계산함으로써, 컨볼루션 기반 기울기 추정이 필요 없도록 Lucas-Kanade 알고리즘을 수정하는 것.
• 수정된 LK 알고리즘을 PointNet 아키텍처 내의 반복 모듈로 통합하여, PointNetLK라는 통합된, 완전히 미분 가능한 네트워크를 구성하는 것.
• 강체 운동을 표현하기 위해 변환의 터널 파arameterization(예: SE(3) 리 대수)를 사용하고, 잔차 오차의 기울기 하강법을 통해 점진적 업데이트를 계산하는 것.
• 2.5D 환경에서 훈련 중에 미분 가능성을 유지하기 위해 가시 포인트 마스크를 적용하지만, 추론 시에는 이를 제거하는 것.
• 변환 매개변수의 수렴 여부에 따라 조기 정지 기반으로, 변환된 소스 및 타겟 포인트 클라우드 특징 간의 L2 노름 차이를 기반으로 한 손실 함수를 사용하여 네트워크를 엔드 투 엔드로 훈련하는 것.

실험 결과

연구 질문

• RQ1 PointNet의 그리드 기반, 컨볼루션 기반 특징 표현이 아닌 비구조적 표현 방식을 고려할 때, 공간 기울기를 기반으로 하지 않고도 Lucas-Kanade 알고리즘이 적용될 수 있는가?
• RQ2 PointNet와 수정된 LK 알고리즘을 단일 반복 신경망으로 전개함으로써, 엔드 투 엔드로 미분 가능한 포인트 클라우드 정렬을 달성하고, 더 높은 강건성을 확보할 수 있는가?
• RQ3 학습 중에 특정 유형의 물체만 사용했을 때, PointNetLK 프레임워크는 새로운 형태나 범주에 대해 세부 조정 없이도 일반화 가능한가?
• RQ4 ICP 및 기타 딥 러닝 기반 정렬 방법과 비교할 때, PointNetLK는 정확도, 초기화에 대한 강건성, 계산 효율성 면에서 어떤가?
• RQ5 아키텍처가 정렬 과정을 암묵적으로 모델링함으로써, 초기 자세가 진짜 자세에서 멀리 떨어져 있더라도 전역 최적 해에 도달할 수 있는가?

주요 결과

• PointNetLK는 ModelNet 및 S3DIS 데이터셋에서 최신 기술 수준의 정렬 정확도를 달성하였으며, ICP 및 기타 딥 러닝 기반 기준선보다 유의미하게 낮은 오차를 기록하였다.
• 이 방법은 형태 범주 간 일반화 능력을 보였으며, 훈련 중에 볼 수 없었던 스탠포드 번니와 다른 항공기 모델까지도 성공적으로 정렬함으로써 형태 변화에 대한 강건성을 입증하였다.
• PointNetLK는 전역 수렴성을 보였다: 회전 실험에서 비용 함수는 정확한 180° 자세에서 전역 최소값을 가지며, ICP의 비용 함수는 180°에서 잘못된 최소값을 가지는 것으로 나타났다. 이는 더 나은 최적화 경로를 의미한다.
• 이 방법은 포인트 수에 따라 선형적으로 증가하는 복잡도(O(n))를 보이며, ICP의 O(n²) 복잡도와 대비하여 매우 효율적이며 실시간 응용에 적합하다.
• 노이즈가 많거나 부분적으로 가시성이 낮은 데이터(예: 2.5D 스캔)에 대해 세부 조정을 적용하면 성능 향상이 크게 나타나며, 최적 결과를 얻기 위해 약 300~400 에포크의 훈련이 필요로 한다.
• 이 프레임워크는 완전히 미분 가능하며 GPU에서 효율적으로 실행 가능하여, CPU 기반 ICP 변형과 달리 더 큰 딥 러닝 파ipeline에 원활하게 통합될 수 있다.