[논문 리뷰] DeepI2P: Image-to-Point Cloud Registration via Deep Classification

Jiaxin Li, Gim Hee Lee|arXiv (Cornell University)|2021. 04. 08.

Robotics and Sensor-Based Localization참고 문헌 42인용 수 4

한 줄 요약

DeepI2P는 특징 매칭을 생략하고 등록을 두 단계 문제로 재정의함으로써 이미지에서 포인트 클라우드로의 등록을 위한 새로운 방법을 제안한다: 먼저 깊이 신경망을 사용해 카메라 프루스텀 내부에 있는 3D 포인트를 분류하고, 그 다음 역투영을 통해 카메라 자세를 최적화한다. 이 방법은 Oxford Robotcar 및 KITTI 데이터셋에서 상태의 성능을 달성하며, RTE 1.65m와 RRE 4.14°를 기록하여 명시적 인식 모달 특징 기반 기술 없이도 가능함을 입증한다.

ABSTRACT

This paper presents DeepI2P: a novel approach for cross-modality registration between an image and a point cloud. Given an image (e.g. from a rgb-camera) and a general point cloud (e.g. from a 3D Lidar scanner) captured at different locations in the same scene, our method estimates the relative rigid transformation between the coordinate frames of the camera and Lidar. Learning common feature descriptors to establish correspondences for the registration is inherently challenging due to the lack of appearance and geometric correlations across the two modalities. We circumvent the difficulty by converting the registration problem into a classification and inverse camera projection optimization problem. A classification neural network is designed to label whether the projection of each point in the point cloud is within or beyond the camera frustum. These labeled points are subsequently passed into a novel inverse camera projection solver to estimate the relative pose. Extensive experimental results on Oxford Robotcar and KITTI datasets demonstrate the feasibility of our approach. Our source code is available at https://github.com/lijx10/DeepI2P

연구 동기 및 목표

• 이질적인 외관과 기하학적 특징을 가진 모달 간의 심한 차이로 인해 어려운 교차 모달 이미지-포인트 클라우드 등록 문제를 해결하기 위해.
• 모달 불일치로 인해 실패하기 쉬운 교차 모달 특징 기술자 학습이 필요 없도록 하기 위해.
• 고차원 특징 기술자를 저장하지 않음으로써 메모리 오버헤드를 줄여 모바일 및 로봇 플랫폼에서의 효율적 구현을 가능하게 하기 위해.
• 딥 러닝을 활용한 프루스텀 분류와 최적화를 통한 자세 추정을 위한 강력하고 종단 간 프레임워크를 개발하기 위해.

제안 방법

• 이미지와 포인트 클라우드 입력을 기반으로 각 3D 포인트가 카메라 프루스텀 내부에 있는지 외부에 있는지 분류하기 위해 크로스 어텐션 모듈을 갖춘 이중 브랜치 컨볼루션 신경망을 사용한다.
• 분류 네트워크는 각 3D 포인트의 투영이 이미지의 시야 내에 있는지 여부를 나타내는 이진 레이블을 출력한다.
• 자세 추정 단계는 프루스텀 내 포인트의 재투영 오차를 최소화하는 비제약 연속 최적화 문제로 문제를 정의한다.
• 최적화는 가우스-뉴턴 알고리즘을 사용하여 예측된 프루스텀 내 포인트들이 이미지 평면과 가장 잘 일치하도록 하는 강체 변환(회전 및 이동)을 구한다.
• 이 방법은 특징 매칭을 완전히 회피하며, 대신 역카메라 투영을 통한 기하학적 일관성에 의존한다.
• 프레임워크는 Oxford Robotcar 및 KITTI 데이터셋에서 훈련 및 평가되며, 초기화, 어텐션, 포인트 밀도에 대한 추론 분석이 수행된다.

Figure 2: Our network architecture for the classification problem.

실험 결과

연구 질문

• RQ1 2D 및 3D 모달 간의 명시적 특징 매칭 없이 교차 모달 이미지-포인트 클라우드 등록이 가능할 수 있는가?
• RQ2 딥 러닝 기반의 프루스텀 분류 접근법이 기존의 특징 기반 대응 매칭을 얼마나 효과적으로 대체할 수 있는가?
• RQ3 크로스 어텐션 모듈의 통합이 분류 및 등록 정확도에 어느 정도 기여하는가?
• RQ4 포인트 클라우드의 밀도 변화와 가림 현상에 대해 이 방법은 얼마나 강건한가?
• RQ5 이중 프루스텀 분류 출력에서 역카메라 투영 최적화가 카메라 자세를 신뢰성 있게 복원할 수 있는가?

주요 결과

• Oxford Robotcar 데이터셋에서 DeepI2P는 이동 오차(RTE) 1.65m와 회전 오차(RRE) 4.14°를 기록하여 강력한 등록 성능를 입증한다.
• KITTI 데이터셋에서는 5120개 포인트에서 RTE 1.94m와 RRE 4.63°를 기록하여 포인트 밀도가 낮아져도 합리적인 성능를 유지함을 보여준다.
• 추론 분석 결과, 크로스 어텐션 모듈을 제거할 경우 분류 정확도가 98%에서 80%로 급격히 감소하고, 등록 오차(RTE)는 6.88m로 증가함을 확인하였다.
• 초기화에 대해 강건하며, 초기화 수를 60개에서 1개로 줄였을 때 RTE는 1.65m에서 3.52m로 약간 증가할 뿐이다.
• 포인트 밀도가 낮아지면 성능은 저하되나, 그 정도는 중간 수준이다 — 밀도를 원래의 1/4(20480에서 5120개)로 줄였을 때 RTE는 1.65m에서 1.94m로 증가한다.
• Monodepth2+ICP와 비교했을 때 DeepI2P는 훨씬 우수한 성능(비교: RTE 1.65m 대 8.45m)을 보이며, 특히 초기화가 열악한 상황에서도 강건함을 입증한다.

Figure 3: Visualizations of the Gauss-Newton at iteration 0 / 40 / 80 from left to right. Green points are classified as inside image FoV.