[논문 리뷰] Robust Point Cloud Registration Framework Based on Deep Graph Matching

Kexue Fu, Shaolei Liu외 2명|arXiv (Cornell University)|2021. 03. 07.

Graph Theory and Algorithms참고 문헌 42인용 수 15

한 줄 요약

이 논문은 높은 이상치 비율과 열악한 초기화 조건 하에서도 정확도를 높이는 데 중점을 두고, 구조적 위상 정보를 유지하면서 노드 특징을 매칭하는 학습 가능한 AIS 모듈을 사용하는 새로운 딥 그래프 매칭 프레임워크인 RGM을 제안한다. RGM은 점군에서 그래프를 구성하고, 구조적 위상 정보를 유지하면서 노드 특징을 매칭함으로써 청소된, 노이즈가 있는, 부분 대 부분, 그리고 미사용된 카테고리 점군에 대해 최신 기술 수준의 성능을 달성한다. 특히 부분 대 부분 데이터에서 90% 이상의 성공률을 기록하며, 미사용된 카테고리로의 일반화 능력이 뛰어나다.

ABSTRACT

3D point cloud registration is a fundamental problem in computer vision and robotics. There has been extensive research in this area, but existing methods meet great challenges in situations with a large proportion of outliers and time constraints, but without good transformation initialization. Recently, a series of learning-based algorithms have been introduced and show advantages in speed. Many of them are based on correspondences between the two point clouds, so they do not rely on transformation initialization. However, these learning-based methods are sensitive to outliers, which lead to more incorrect correspondences. In this paper, we propose a novel deep graph matchingbased framework for point cloud registration. Specifically, we first transform point clouds into graphs and extract deep features for each point. Then, we develop a module based on deep graph matching to calculate a soft correspondence matrix. By using graph matching, not only the local geometry of each point but also its structure and topology in a larger range are considered in establishing correspondences, so that more correct correspondences are found. We train the network with a loss directly defined on the correspondences, and in the test stage the soft correspondences are transformed into hard one-to-one correspondences so that registration can be performed by singular value decomposition. Furthermore, we introduce a transformer-based method to generate edges for graph construction, which further improves the quality of the correspondences. Extensive experiments on registering clean, noisy, partial-to-partial and unseen category point clouds show that the proposed method achieves state-of-the-art performance. The code will be made publicly available at https://github.com/fukexue/RGM.

연구 동기 및 목표

• 높은 이상치 비율과 열악한 초기 변환 조건 하에서의 점군 정렬 과제를 해결하기 위해.
• 국소 기하학을 초월한 고차 구조적 및 위상적 정보를 활용하여 대응 정확도를 향상시키기 위해.
• 변환 초기화가 필요 없는 엔드 투 엔드 트레이너블 프레임워크를 개발하기 위해.
• 개선된 특징 표현과 그래프 구축을 통해 미사용된 형태 카테고리로의 일반화 능력을 향상시키기 위해.
• 정렬에 더 의미 있는 그래프 위상 구조를 제공하기 위해 트랜스포머 기반 엣지 생성기 도입하기 위해.

제안 방법

• 입력 점군을 학습 가능한 트랜스포머 기반 엣지 생성기를 사용하여 그래프로 변환하여 구조적 연결을 정의하기 위해.
• 이웃 점들을 기반으로 한 점별 특징 인코더를 사용하여 각 점의 깊이 있는 국소 특징을 추출하기 위해.
• 그래프 신경망 레이어를 사용하여 노드 특징과 그래프 구조를 공동 특징 공간에 통합하기 위해.
• 유사도 레이어, 인스턴스 정규화, 싱크호른 레이어를 포함한 AIS 모듈을 구현하여 미분 가능한 그래프 매칭을 통해 소프트 대응 행렬을 계산하기 위해.
• 예측된 소프트 대응과 진짜 대응 간의 이진 교차 엔트로피 손실을 사용하여 네트워크를 훈련시키기 위해.
• 하드 대응을 일대일로 변환하기 위해 헝가리안 알고리즘을 사용하고, 최종 강성 변환을 SVD를 통해 계산하기 위해.

실험 결과

연구 질문

• RQ1 직접적인 특징 매칭과 비교해 볼 때, 딥 그래프 매칭이 높은 이상치 비율 조건 하에서도 대응 정확도를 향상시킬 수 있는가?
• RQ2 그래프 표현에 구조적 및 위상적 맥락을 통합할 경우, 노이즈와 부분적 겹침에 대한 강건성이 어떻게 향상되는가?
• RQ3 트랜스포머 기반의 학습 가능한 엣지 생성기가 k-NN나 전체 연결과 같은 고정된 연결 방법보다 그래프 구축에서 정렬 성능을 더 잘 향상시키는가?
• RQ4 제안된 프레임워크는 미세조정 없이도 얼마나 잘 미사용된 형태 카테고리로 일반화되는가?
• RQ5 단순한 대응 예측 메커니즘과 비교해 볼 때, AIS 모듈은 강건성과 정확도 측면에서 어떻게 성능을 냅니다?

주요 결과

• RGM은 부분 대 부분 점군 정렬에서 90% 이상의 성공률을 기록하며, RPM-Net 및 기타 학습 기반 베이스라인보다 뚜렷이 뛰어난 성능을 보였다.
• 미사용된 카테고리 점군에서는 RGM이 강력한 일반화 성능을 유지하는 반면, 다른 학습 기반 방법들은 효과적으로 일반화하지 못했다.
• 절단 분석 결과, AIS 모듈이 변형된 버전 대비 대응 정확도를 20~30%p 향상시키며, 구조적 그래프 매칭의 중요성을 입증했다.
• 트랜스포머 기반 엣지 생성기를 전체 연결 엣지로 대체할 경우 성능이 떨어지며, 이는 학습된 위상 구조가 대응 품질을 향상시킨다는 것을 증명한다.
• 정성적 결과에서는 RGM이 복잡하거나 부분적인 영역에서 특히 더 많은 정확한 대응을 생성함을 확인할 수 있었으며, 예를 들어 85%의 정확도를 기록한 반면, 변형된 방법은 50%에 그쳤다.
• 모든 벤치마크에서 청소된, 노이즈가 있는, 부분 대 부분, 그리고 미사용된 카테고리 설정에서 최신 기술 수준의 성능을 달성했다.