[논문 리뷰] A Joint Optimization Approach of LiDAR-Camera Fusion for Accurate Dense 3D Reconstructions

Weikun Zhen, Yaoyu Hu외 2명|arXiv (Cornell University)|2019. 07. 01.

Robotics and Sensor-Based Localization참고 문헌 28인용 수 6

한 줄 요약

이 논문은 오프라인으로 확률적으로 일관된 방식으로 스테레오 영상과 라이다 포인트 클라우드를 융합함으로써 카메라 자세와 라이다-카메라 외부 캘리브레이션을 동시에 추정하는 공동 최적화 프레임워크를 제안한다. 이 방법은 평균 재구성 정확도 2.7 mm와 포인트 밀도 70 points/cm²를 달성하며, 신뢰할 수 없는 특징 매칭에 의존하지 않고 통합된 번들 조정 및 클라우드 정렬 최적화를 통해 자가 캘리브레이션을 가능하게 함으로써 최신 기술에 비해 뛰어난 성능을 발휘한다.

ABSTRACT

Fusing data from LiDAR and camera is conceptually attractive because of their complementary properties. For instance, camera images are higher resolution and have colors, while LiDAR data provide more accurate range measurements and have a wider Field Of View (FOV). However, the sensor fusion problem remains challenging since it is difficult to find reliable correlations between data of very different characteristics (geometry vs. texture, sparse vs. dense). This paper proposes an offline LiDAR-camera fusion method to build dense, accurate 3D models. Specifically, our method jointly solves a bundle adjustment (BA) problem and a cloud registration problem to compute camera poses and the sensor extrinsic calibration. In experiments, we show that our method can achieve an averaged accuracy of 2.7mm and resolution of 70 points per square cm by comparing to the ground truth data from a survey scanner. Furthermore, the extrinsic calibration result is discussed and shown to outperform the state-of-the-art method.

연구 동기 및 목표

• 희박한 기하학적 라이다 데이터와 밀도 높은 텍스처 기반 카메라 데이터를 융합하여 고정밀 3D 재구성을 달성하고자 한다.
• 포인트 클라우드와 영상 간의 신뢰할 수 없는 특징 대응에 의존하는 기존 융합 방법의 한계를 극복하고자 한다.
• 확률적 프레임워크 내에서 카메라 자세와 외부 캘리브레이션을 공동으로 최적화하여 정확도와 내성 강도를 향상시키고자 한다.
• 사전 캘리브레이션된 외부 파ameters나 전용 캘리브레이션 타겟이 필요 없이 라이다-카메라 시스템의 자가 캘리브레이션을 가능하게 하고자 한다.
• 측량 수준의 스캐너에 근접한 정밀도를 갖는 밀도 높고 텍스처가 부여된 3D 모델을 생성하고자 한다.

제안 방법

• 카메라 자세에 대한 번들 조정(BA) 문제와 외부 캘리브레이션을 위한 포인트 클라우드 정렬 문제를 하나의 확률적 최적화 프레임워크 내에서 공동으로 해결한다.
• 스테레오 영상과 라이다 포인트 클라우드의 기하학적 제약 조건을 통합한 비용 함수를 제안하며, 센서의 불확실성을 확률 모델을 통해 명시적으로 처리한다.
• 다중 정지 센서 스테이션에서 동기화된 스테레오 영상과 라이다 스캔을 촬영함으로써 오프라인 최적화를 수행한다.
• 텍스처나 에지 품질에 의존도를 줄이기 위해 특징 매칭 히우리스틱을 배제하고, 센서 데이터 간 기하학적 일관성에만 의존한다.
• 카메라 자세와 외부 변환을 공동 파arameterization하여 동시에 최적화함으로써 상호 제약 조건을 통해 자가 캘리브레이션을 실현한다.
• 기준값 비교를 위해 ICP 기반 정렬을 사용하고, 재구성 정확도의 정량적 평가에는 CloudCompare를 활용한다.

실험 결과

연구 질문

• RQ1 카메라 자세와 라이다-카메라 외부 캘리브레이션을 동시에 추정하는 공동 최적화 프레임워크가 3D 재구성 정확도 향상에 기여할 수 있는가?
• RQ2 라이다 에지와 영상 에지 간의 특징 매칭에 의존하지 않음으로써 보다 견고한 캘리브레이션과 재구성 성능 향상이 가능한가?
• RQ3 스테레오 데이터만 사용하는 경우나 사전 캘리브레이션된 융합 방식에 비해 라이다와 스테레오 데이터를 융합함으로써 재구성 오차는 얼마나 감소하는가?
• RQ4 다양한 센서 구성 조건에서 외부 캘리브레이션은 얼마나 잘 제약을 받는가? 관측 가능한 또는 제약이 미흡한 자유도는 무엇인가?
• RQ5 제안된 방법이 FARO FOCUS3D와 같은 측량 수준의 스캐너에 근접한 재구성 정확도를 달성할 수 있는가?

주요 결과

• 제안된 방법은 ±3 mm 범위 정밀도를 갖는 FARO FOCUS3D 스캐너의 기준값 데이터와 비교해 평균 재구성 정확도 2.7 mm를 달성한다.
• 이 방법은 기준값(10–15 points/cm²)보다 훨씬 높은 밀도를 갖는 70 points/cm²의 밀도 높은 3D 모델을 생성한다.
• 라이다 데이터 융합으로 인해 재구성 오차가 스테레오 전용일 경우 6 mm에서 2.7 mm로 감소함을 입증하며, 라이다의 기하학적 제약 조건의 유용성을 보여준다.
• 외부 캘리브레이션을 공동 최적화함으로써 최신 기술에 비해 특징 매칭 히우리스틱에 의존하지 않고 캘리브레이션의 견고성을 향상시킨다.
• 다양한 비공선(비일직선) 시점이 확보된 경우 외부 캘리브레이션은 잘 제약을 받지만, 센서 자세가 거의 공선이거나 오직 영상 이동만 변화하는 경우에선 제약이 미흡해진다.
• 이 방법은 자가 캘리브레이션을 가능하게 하여 사전 캘리브레이션된 외부 파ameters나 전용 캘리브레이션 타겟이 필요 없음을 입증한다.