[论文解读] From Plants to Landmarks: Time-invariant Plant Localization that uses Deep Pose Regression in Agricultural Fields

Florian Kraemer, Alexander Schaefer+3 more|arXiv (Cornell University)|Sep 14, 2017

Smart Agriculture and AI参考文献 11被引用 12

一句话总结

本文提出了一种基于深度学习的方法，利用全卷积神经网络（FCNNs）从RGB和NIR图像中回归茎部萌发点（SEP）位置，实现农业田地中时不变植株定位。通过利用稳定、不变的SEP作为地标，该方法在不同生长阶段和环境条件下实现了厘米级精度的植株定位，优于传统的GNSS和基于视觉特征的方法。

ABSTRACT

Agricultural robots are expected to increase yields in a sustainable way and automate precision tasks, such as weeding and plant monitoring. At the same time, they move in a continuously changing, semi-structured field environment, in which features can hardly be found and reproduced at a later time. Challenges for Lidar and visual detection systems stem from the fact that plants can be very small, overlapping and have a steadily changing appearance. Therefore, a popular way to localize vehicles with high accuracy is based on ex- pensive global navigation satellite systems and not on natural landmarks. The contribution of this work is a novel image- based plant localization technique that uses the time-invariant stem emerging point as a reference. Our approach is based on a fully convolutional neural network that learns landmark localization from RGB and NIR image input in an end-to-end manner. The network performs pose regression to generate a plant location likelihood map. Our approach allows us to cope with visual variances of plants both for different species and different growth stages. We achieve high localization accuracies as shown in detailed evaluations of a sugar beet cultivation phase. In experiments with our BoniRob we demonstrate that detections can be robustly reproduced with centimeter accuracy.

研究动机与目标

• 通过利用自然地标实现鲁棒的长期定位，减少农业机器人对高精度GNSS的依赖。
• 解决由于生长阶段、物种差异和植被重叠导致的视觉可变性问题。
• 识别并定位时不变的植株特征——特别是茎部萌发点（SEP）——作为机器人制图与导航的可靠地标。
• 开发一种方法，在植物外观和田间条件发生变化的情况下，仍能长期保持高定位精度。
• 为农业机器人植株定位研究提供公开可用的数据集和评估工具。

提出的方法

• 在RGB和近红外（NIR）图像对上端到端训练全卷积神经网络（FCNN），以预测SEP检测的姿态似然图。
• FCNN通过预测表示图像中SEP存在概率的热力图，执行回归以定位SEP。
• 使用损失函数最小化预测与真实SEP位置之间的距离，同时引入似然衰减参数以建模空间不确定性。
• 通过欧氏距离作为度量，在定义的接受范围内于后续地图中寻找最近的SEP进行地标匹配。
• 使用地面机器人（BoniRob）获取的地理参考图像评估定位鲁棒性，时间间隔包括4天和28天。
• 评估包括精确率、召回率和平均距离误差指标，结果按不同生长阶段和杂草密度报告。

实验结果

研究问题

• RQ1 基于深度学习的方法是否能在随时间显著变化的视觉条件下，实现农业田地中稳定、时不变的植株定位？
• RQ2 所提出的基于FCNN的姿态回归方法在不同生长阶段下，与基线方法相比在精确率、召回率和定位误差方面表现如何？
• RQ3 在真实农业条件下，SEP地标在长时间跨度（如28天）内能多大程度上可靠匹配？
• RQ4 NIR图像的引入在光照和植物外观变化条件下如何提升SEP检测的鲁棒性？
• RQ5 所提出的方法是否能支持无需依赖高精度GNSS系统的自主机器人导航？

主要发现

• 所提出的基于FCNN的方法在4天周期内实现18.41毫米的平均定位误差，在28天周期内实现20.8毫米，表现出高精度和鲁棒性。
• 在4天间隔内，精确率达到87.5%，召回率达到96.2%，345个检测到的SEP中有302个成功匹配。
• 在28天间隔内，方法保持高可靠性，精确率为92.8%，召回率为88.3%，表明尽管存在植物生长和外观变化，仍具有强大的长期一致性。
• 该方法在检测SEP方面优于基线方法，适用于包括植株重叠和不同杂草密度在内的多种条件。
• 评估表明，即使植物外观发生显著变化，SEP仍可作为匿名地标可靠用于机器人制图与定位。
• 数据集和评估工具已公开发布于 http://plantcentroids.cs.uni-freiburg.de，支持可复现性与进一步研究。