[论文解读] A Deep Learning Approach Based on Graphs to Detect Plantation Lines

Diogo Nunes Gonçalves, Mauro dos Santos de Arruda+9 more|arXiv (Cornell University)|Feb 5, 2021

Remote Sensing and LiDAR Applications参考文献 36被引用 4

一句话总结

本文提出一种基于图的深度学习方法，用于在基于无人机的RGB航拍影像中检测种植行，通过结合视觉特征、线概率和位移向量对齐，将植物之间的边缘分类为行的一部分。该方法在检测间距分布和间断性种植模式方面优于最先进方法，实现98.7%的精确率、91.9%的召回率和95.1%的F1分数。

ABSTRACT

Deep learning-based networks are among the most prominent methods to learn linear patterns and extract this type of information from diverse imagery conditions. Here, we propose a deep learning approach based on graphs to detect plantation lines in UAV-based RGB imagery presenting a challenging scenario containing spaced plants. The first module of our method extracts a feature map throughout the backbone, which consists of the initial layers of the VGG16. This feature map is used as an input to the Knowledge Estimation Module (KEM), organized in three concatenated branches for detecting 1) the plant positions, 2) the plantation lines, and 3) for the displacement vectors between the plants. A graph modeling is applied considering each plant position on the image as vertices, and edges are formed between two vertices (i.e. plants). Finally, the edge is classified as pertaining to a certain plantation line based on three probabilities (higher than 0.5): i) in visual features obtained from the backbone; ii) a chance that the edge pixels belong to a line, from the KEM step; and iii) an alignment of the displacement vectors with the edge, also from KEM. Experiments were conducted in corn plantations with different growth stages and patterns with aerial RGB imagery. A total of 564 patches with 256 x 256 pixels were used and randomly divided into training, validation, and testing sets in a proportion of 60\%, 20\%, and 20\%, respectively. The proposed method was compared against state-of-the-art deep learning methods, and achieved superior performance with a significant margin, returning precision, recall, and F1-score of 98.7\%, 91.9\%, and 95.1\%, respectively. This approach is useful in extracting lines with spaced plantation patterns and could be implemented in scenarios where plantation gaps occur, generating lines with few-to-none interruptions.

研究动机与目标

• 解决在具有间距分布和不规则植株分布的航拍RGB影像中检测种植行的挑战。
• 提升在存在间隙、孤立植株和杂草干扰时检测行的鲁棒性，以克服传统方法的局限。
• 通过位移向量建模植株间的几何关系，并将其整合进深度学习框架，以增强行检测能力。
• 开发一种可泛化至不同生长阶段和复杂种植几何形态的方法。
• 展示将图建模与深度特征结合用于遥感中线性目标检测的有效性。

提出的方法

• 使用VGG16主干网络从256×256 RGB图像块（玉米种植区）中提取初始特征图。
• 知识估计模块（KEM）通过三个并行分支处理特征图：植株位置检测、线概率估计和位移向量计算。
• 每个植株被建模为图中的一个顶点，相邻植株基于空间邻近性形成边。
• 边是否属于种植行的分类依赖于三个概率：视觉特征相似性、来自KEM的属于线的可能性，以及位移向量与边的对齐程度。
• 最终分类采用每个概率分量0.5的阈值，以确定边是否属于某一行。
• 模型在564个图像块上进行训练和评估，数据集按60%训练、20%验证和20%测试划分。

实验结果

研究问题

• RQ1 与传统深度学习方法相比，基于图的深度学习模型是否能提升在无人机RGB影像中检测间距种植行的性能？
• RQ2 在存在间隙和孤立植株的情况下，引入位移向量对齐如何增强行检测的鲁棒性？
• RQ3 结合视觉特征、线概率和几何一致性，在复杂农业图案上的检测性能提升程度如何？
• RQ4 所提出的方法是否能泛化至不同玉米生长阶段和不规则行距模式？
• RQ5 将图建模与深度特征结合是否能显著提升遥感应用中线性特征提取的性能？

主要发现

• 所提方法在测试数据上实现98.7%的精确率、91.9%的召回率和95.1%的F1分数，显著优于最先进方法（如Deep Hough Transform和PPGNet）。
• KEM分支中引入位移向量对齐，有效减少了由孤立植株和杂草引起的误报，提升了检测鲁棒性。
• 该模型在不同玉米生长阶段及不规则行距模式（包括显著间隙）下均表现出强泛化能力。
• 基于图的边分类机制即使在种植行中存在少量或无中断的情况下，也能有效捕捉线性连续性。
• 消融实验表明，第三分支（位移向量对齐）对性能至关重要，其移除导致性能显著下降。
• 该方法可迁移应用于其他线性特征检测任务，如遥感影像中的道路、河流和管线提取。