[논문 리뷰] Semantic Feature Matching for Robust Mapping in Agriculture

Mohamad Qadri, George Kantor|arXiv (Cornell University)|2021. 07. 09.

Robotics and Sensor-Based Localization참고 문헌 25인용 수 4

한 줄 요약

이 논문은 작물 농업 로봇을 위한 개체 수준의 SLAM 시스템을 제안하며, 농장 환경의 구조화된 줄행렬 주행 특성을 활용하여 식물 씨앗(사탕무 씨앗)을 의미적 지표로 사용하고, 딥러닝 기반의 감지 및 분할 기법을 적용한다. 시드 위치를 그래프 노드로 모델링하고 연속 프레임 간의 수평 이동 제약 조건을 활용함으로써, 낮은 무늬성, 반복적인 农업 환경에서 기존 시각 SLAM(예: ORB-SLAM2)보다 뛰어난 성능을 보이며 평균 78%의 맵핑 커버리지를 달성한다.

ABSTRACT

Visual Simultaneous Localization and Mapping (SLAM) systems are an essential component in agricultural robotics that enable autonomous navigation and the construction of accurate 3D maps of agricultural fields. However, lack of texture, varying illumination conditions, and lack of structure in the environment pose a challenge for Visual-SLAM systems that rely on traditional feature extraction and matching algorithms such as ORB or SIFT. This paper proposes 1) an object-level feature association algorithm that enables the creation of 3D reconstructions robustly by taking advantage of the structure in robotic navigation in agricultural fields, and 2) An object-level SLAM system that utilizes recent advances in deep learning-based object detection and segmentation algorithms to detect and segment semantic objects in the environment used as landmarks for SLAM. We test our SLAM system on a stereo image dataset of a sorghum field. We show that our object-based feature association algorithm enables us to map 78% of a sorghum range on average. In contrast, with traditional visual features, we achieve an average mapped distance of 38%. We also compare our system against ORB-SLAM2, a state-of-the-art visual SLAM algorithm.

연구 동기 및 목표

• 낮은 무늬성, 반복적인 농업 환경에서 전통적인 시각 SLAM 시스템의 실패 원인인 낮은 특징 감지 및 매칭 성능을 해결한다.
• 농업 로봇의 구조화된 줄행렬 주행 특성을 활용하여 데이터 연관성의 강건성을 향상시킨다.
• 기존의 시각적 특징이 아닌 의미적 개체(사탕무 씨앗)를 지표로 사용하는 개체 수준의 SLAM 시스템을 개발한다.
• 저조도, 바람에 의한 움직임, 낮은 프레임 레이트(5Hz) 등의 어려운 조건에서도 정확한 3D 재구성을 가능하게 한다.
• 이러한 제약 조건 하에서 최신 기술인 ORB-SLAM2와 같은 시각 SLAM 시스템보다 맵핑 성능을 뛰어나게 한다.

제안 방법

• 딥러닝 기반의 인스턴스 분할 모델을 사용하여 스테레오 이미지에서 개별 사탕무 씨앗을 감지하고 분할한다.
• 감지된 각 씨앗을 그래프의 노드로 표현하며, 노드의 위치는 2차원 이미지 좌표로 설정한다.
• 연속 프레임 간의 노드 간 거리가 약간의 변동 외에는 일정하게 유지되도록 기하학적 일관성을 강제한다.
• 프레임 간 운동이 주로 수평 이동임을 모델링하여, 잘못된 매칭을 걸러내고 데이터 연관성을 향상시킨다.
• 공간적 및 운동 제약 조건을 기반으로 할당 비용을 최소화하는 방식으로 허그리안 알고리즘을 적용하여 데이터 연관 문제를 해결한다.
• 자이로스코프 센서를 사용하지 않고도 스테레오 이미지의 시각적 옹도메트리와 의미적 지표를 활용하여 3D 맵을 구축한다.

실험 결과

연구 질문

• RQ1 의미적 개체 감지 및 분할이 농업 환경의 시각 SLAM에서 데이터 연관성의 강건성을 향상시키는가?
• RQ2 농업 로봇의 줄행렬 주행 구조를 활용할 경우 낮은 무늬성, 반복적인 분야에서 SLAM 성능이 어떻게 향상되는가?
• RQ3 낮은 프레임 레이트 및 낮은 무늬성 조건에서 개체 수준의 SLAM이 기존 특징 기반 SLAM(예: ORB-SLAM2)보다 맵핑 정확도에서 얼마나 뛰어나게 되는가?
• RQ4 연속 프레임 간 수평 이동에 대한 기하 제약 조건이 특징 매칭에서의 오진 매칭을 줄이는 데 기여하는가?
• RQ5 유사한 구조적 레이아웃을 가진 다양한 작물 종류에 대해 대규모 3D 재구성에 이 방법이 얼마나 확장 가능한가?

주요 결과

• 제안된 시스템은 여덟 개의 사탕무 밭 범위에서 평균적으로 총 이동 거리의 78%를 맵핑하는 데 성공했으며, 기존 특징 기반 방법은 단지 38%에 그쳤다.
• 여덟 개의 테스트 범위에서 시스템은 3개의 범위를 완전히 맵핑했고, 나머지 다섯 범위에서는 평균 65%의 커버리지를 달성했다.
• ORB-SLAM2는 어느 범위에서도 0.35미터를 초과해 맵핑하지 못했으며, 낮은 무늬성 환경에서의 특징 매칭 실패로 인한 심각한 불안정성을 보였다.
• SIFT, SURF, ORB, AKAZE 등 기존 방법들보다 최대 맵핑 거리 측면에서 뛰어난 성능을 보였으며, SIFT는 다음으로 우수한 전통적 방법이었다.
• 한 범위에서는 5.03미터, 다른 범위에서는 4.43미터를 완전히 맵핑하는 데 성공하여, 장거리 주행 조건에서도 뛰어난 강건성을 입증했다.
• 의미적 지표와 기하 제약 조건의 활용은 난이도 높은 시각 조건에서 오진 매칭을 크게 감소시키고 데이터 연관성의 신뢰도를 향상시켰다.