[논문 리뷰] From Plants to Landmarks: Time-invariant Plant Localization that uses Deep Pose Regression in Agricultural Fields

Florian Kraemer, Alexander Schaefer외 3명|arXiv (Cornell University)|2017. 09. 14.

Smart Agriculture and AI참고 문헌 11인용 수 12

한 줄 요약

이 논문은 RGB 및 NIR 이미지에서 줄기 발생 지점(SEP) 위치를 회귀하는 데 전용 컨volution 신경망(FCNN)을 사용하여 농업 분야의 시간에 따라 변하지 않는 식물 현장 위치를 식별하는 딥러닝 기반 방법을 제안한다. 안정적이고 변화가 없는 SEP를 지표로 활용함으로써, 다양한 생장 단계와 환경 조건에서도 식물 위치를 센티미터 수준의 정확도로 확보할 수 있으며, 기존의 GNSS 및 시각적 특징 기반 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

Agricultural robots are expected to increase yields in a sustainable way and automate precision tasks, such as weeding and plant monitoring. At the same time, they move in a continuously changing, semi-structured field environment, in which features can hardly be found and reproduced at a later time. Challenges for Lidar and visual detection systems stem from the fact that plants can be very small, overlapping and have a steadily changing appearance. Therefore, a popular way to localize vehicles with high accuracy is based on ex- pensive global navigation satellite systems and not on natural landmarks. The contribution of this work is a novel image- based plant localization technique that uses the time-invariant stem emerging point as a reference. Our approach is based on a fully convolutional neural network that learns landmark localization from RGB and NIR image input in an end-to-end manner. The network performs pose regression to generate a plant location likelihood map. Our approach allows us to cope with visual variances of plants both for different species and different growth stages. We achieve high localization accuracies as shown in detailed evaluations of a sugar beet cultivation phase. In experiments with our BoniRob we demonstrate that detections can be robustly reproduced with centimeter accuracy.

연구 동기 및 목표

• 고정밀 GNSS에 대한 의존도를 줄이기 위해 자연 지표를 활용해 강력하고 장기적인 식물 위치 추적을 가능하게 하기 위해.
• 생장 단계, 종 차이, 겹치는 식물로 인한 시각적 변동성 문제를 해결하기 위해.
• 로봇 맵핑 및 주행을 위한 신뢰할 수 있는 지표로 시간에 따라 변하지 않는 식물 특징—특히 줄기 발생 지점(SEP)—를 식별하고 위치를 특정하기 위해.
• 식물 외형과 현장 조건의 변화가 있더라도 장기간에 걸쳐 높은 위치 추적 정확도를 유지할 수 있는 방법을 개발하기 위해.
• 농업 로봇 연구를 위한 공개된 데이터셋과 평가 도구를 제공하기 위해.

제안 방법

• RGB 및 근적외선(NIR) 이미지 쌍을 대상으로 엔드 투 엔드로 훈련된 전용 컨volution 신경망(FCNN)을 사용하여 SEP 검출을 위한 포즈 가능성 지apap을 예측한다.
• FCNN는 이미지 전역에 걸쳐 SEP 존재 확률을 나타내는 히트맵을 예측함으로써 SEP 위치를 회귀하여 국소화한다.
• 예측된 위치와 진짜 위치 간의 거리를 최소화하는 손실 함수를 사용하며, 공간적 불확실성을 모델링하기 위해 가능성 감쇠 파rameter를 도입한다.
• 순차적 맵 간의 지표 매칭은 유클리드 거리를 기준으로 정의된 수용 범위 내에서 후행 맵의 가장 가까운 SEP를 찾는 방식으로 수행된다.
• 지속적인 시간에 걸친 정밀도 평가를 위해 지상 로봇(BoniRob)에서 획득한 지리적 참조가 된 이미지를 사용하며, 4일 및 28일 간격을 포함한다.
• 정밀도, 재현율, 평균 거리 오차 등의 지표를 사용하여 평가하며, 다양한 생장 단계와 잡초 밀도 조건에서의 결과를 보고한다.

실험 결과

연구 질문

• RQ1 심한 시각적 변화가 있는 장기간에 걸쳐 딥러닝 기반 접근법이 시간에 따라 변하지 않는 농업 식물 위치 추적을 안정적으로 달성할 수 있는가?
• RQ2 제안된 FCNN 기반 포즈 회귀 방법이 다양한 생장 단계에서 기준 대비 방법과 비교해 정밀도, 재현율, 위치 오차 측면에서 어떻게 성능을 내는가?
• RQ3 실제 농업 환경에서 장기간(예: 28일)에 걸쳐 SEP 지표를 신뢰성 있게 매칭할 수 있는 정도는 어느 정도인가?
• RQ4 NIR 이미지의 포함이 빛 조건과 식물 외형 변화에 따라 SEP 검출의 강건성을 어떻게 향상시키는가?
• RQ5 제안된 방법이 고정밀 GNSS 시스템에 의존하지 않고도 자율 로봇 주행을 지원할 수 있는가?

주요 결과

• 제안된 FCNN 기반 방법은 4일 간격에서 평균 위치 오차 18.41mm, 28일 간격에서 20.8mm를 기록하여 높은 정확도와 강건성을 입증하였다.
• 4일 간격에서 정밀도 87.5%, 재현율 96.2%를 달성하였으며, 총 345개의 SEP 중 302개가 성공적으로 매칭되었다.
• 28일 간격에서도 정밀도 92.8%, 재현율 88.3%를 유지하여 식물 생장과 외형 변화가 있음에도 불구하고 강력한 장기 일관성을 보였다.
• 겹치는 식물과 다양한 잡초 밀도 조건에서도 기존 기준 방법보다 SEP를 더 잘 탐지하는 데 성공하였다.
• 평가 결과, 식물 외형 변화가 심하게 발생하더라도 SEP는 로봇 맵핑 및 위치 추적에 사용 가능한 익명 지표로 신뢰성 있게 활용될 수 있음을 입증하였다.
• 데이터셋과 평가 도구는 http://plantcentroids.cs.uni-freiburg.de 에 공개되어 있어 재현성과 향후 연구를 지원한다.