[논문 리뷰] Leveraging Planar Regularities for Point Line Visual-Inertial Odometry

Xin Li, Yijia He외 2명|arXiv (Cornell University)|2020. 04. 16.

Robotics and Sensor-Based Localization참고 문헌 26인용 수 4

한 줄 요약

이 논문은 3D 자세 추정 및 고밀도 메시 재구성 성능을 향상시키기 위해 점 특징, 선 특징, 평면 규칙성을 통합한 밀착된 단안 시각-자이로스코픽 오도메트리 시스템인 PLP-VIO를 제안한다. 공면성 제약 조건과 비반복적 평면 검출 방법을 활용함으로써, 특히 풍부한 선이 존재하고 무문자 환경에서 더 높은 국소화 정확도와 더 견고하고 구조 인식 가능한 고밀도 매핑을 달성한다.

ABSTRACT

With monocular Visual-Inertial Odometry (VIO) system, 3D point cloud and camera motion can be estimated simultaneously. Because pure sparse 3D points provide a structureless representation of the environment, generating 3D mesh from sparse points can further model the environment topology and produce dense mapping. To improve the accuracy of 3D mesh generation and localization, we propose a tightly-coupled monocular VIO system, PLP-VIO, which exploits point features and line features as well as plane regularities. The co-planarity constraints are used to leverage additional structure information for the more accurate estimation of 3D points and spatial lines in state estimator. To detect plane and 3D mesh robustly, we combine both the line features with point features in the detection method. The effectiveness of the proposed method is verified on both synthetic data and public datasets and is compared with other state-of-the-art algorithms.

연구 동기 및 목표

• 구조적 정보가 부족하고 정확하거나 완전하지 못한 고밀도 매핑을 유도하는 희박한 점 기반 단안 VIO 시스템의 한계를 해결하기 위해.
• 점 특징이 희박하거나 신뢰할 수 없는 텍스처가 없는 환경에서 국소화 정확도를 향상시키기 위해.
• 이질적인 시각적 특징을 사용하여 자세, 3D 지점 및 평면 구조를 동시에 최적화하는 밀착된 VIO 시스템을 개발하기 위해.
• 평면 규칙성을 활용하여 희박한 3D 점과 공간 선에서 고밀도 메시 생성을 효율적이고 실시간으로 수행하기 위해.
• 점, 선, 평면 특징을 융합함으로써 국소화 및 매핑 성능 향상 효과를 검증하기 위해.

제안 방법

• 시스템은 3D 점 및 3D 선 특징을 입력으로 사용하여 평면 검출 및 3D 메시 생성을 수행하는 PL-VIO를 확장한다.
• 검출된 3D 선과 점에서 유도된 공면성 제약 조건을 활용하여 정확도와 속도를 향상시키는 비반복적 평면 검출 방법을 제안한다.
• 2D 점 및 선 특징에 대해 2D 데라우니 삼각분할을 적용하여 초도 2D 메시를 생성하고, 이를 3D 랜드마크를 사용하여 3D 메시로 투영한다.
• 슬라이딩 윈도우 최적화 중에 공면성 제약 조건을 강제 적용하여 3D 점 및 선 추정 정확도를 향상시킨다.
• 최적화 및 마진화를 가속화하기 위해 슈어의 보완 기법을 사용하여, 상태 벡터 크기가 증가함에도 불구하고 실시간 성능을 유지한다.
• 평면 및 메시 생성은 2D 특징의 3D 삼각측량 이후 백엔드에서 수행되며, 평면 검출은 3D 점과 선의 기하학적 일관성에 기반한다.

실험 결과

연구 질문

• RQ1 선 특징과 평면 규칙성을 통합함으로써, 특히 무문자 환경에서 단안 VIO의 국소화 정확도가 상당히 향상되는가?
• RQ2 점 특징만을 사용하는 방법과 비교할 때, 점, 선, 평면 특징을 융합하면 고밀도 3D 메시 재구성의 품질과 완전성은 어떻게 향상되는가?
• RQ3 비반복적 평면 검출 방법이 RANSAC 기반 방법과 비교해 유사하거나 더 높은 정확도를 달성하면서도 훨씬 더 빠른가?
• RQ4 공면성 제약 조건은 밀착된 VIO 아키텍처에서 3D 랜드마크 추정 정확도를 어느 정도 향상시키는가?
• RQ5 점 특징이 희박한 상황에서 구조적 선을 사용하면 평면 검출 및 메시 생성의 견고성과 정확도가 향상되는가?

주요 결과

• EuRoC MH_05 데이터셋에서 PLP-VIO는 RPE 평가에서 가장 낮은 이동 오차를 기록했으며, 특히 점 특징이 희박한 57–67초 범위에서 다른 방법들보다 뛰어난 성능을 보였다.
• PLP-VIO를 사용할 경우 평균 매핑 오차가 2.8cm로 점 전용 방법(P)의 3.6cm보다 감소하여 재구성 정확도 향상을 입증했다.
• 제안된 비반복적 평면 검출 방법은 평균 실행 시간 0.44ms를 기록하여 RANSAC 기반 대안보다 빠르며, 높은 정확도를 유지했다.
• PLP-VIO의 메시 생성 평균 시간은 1.42ms이며, 총 최적화 시간은 프레임당 36ms 이내를 유지하여 실시간 성능을 확보했다.
• 점 특징이 적지만 구조적 선이 풍부한 환경(예: 그림 8)에서는 PLP-VIO가 높은 정확도를 유지했고, P 및 PP 방법은 성능 저하를 보였다. 이는 선 및 평면 특징의 가치를 입증한다.
• 절단 분석 결과, 점, 선, 평면의 조합(PLP)이 개별 구성 요소(P, PL, PP)보다 항상 뛰어난 성능을 보였으며, PLP는 가장 견고하고 정확한 결과를 보였다.