[论文解读] Agriculture-Vision: A Large Aerial Image Database for Agricultural Pattern Analysis

Mang Tik Chiu, Xingqian Xu+13 more|arXiv (Cornell University)|Jan 5, 2020

Smart Agriculture and AI参考文献 63被引用 23

一句话总结

本论文提出了Agriculture-Vision，一个大规模的航拍图像数据集，包含来自3,432个美国农田的94,986张高分辨率（最高达10 cm/像素）的RGB与近红外（NIR）图像，均标注了九类农业田间异常。研究结果表明，基于该数据集训练的定制分割模型在极端尺度图像上显著优于标准模型，凸显了该数据集在利用多光谱数据推进农业语义分割方面的价值。

ABSTRACT

The success of deep learning in visual recognition tasks has driven advancements in multiple fields of research. Particularly, increasing attention has been drawn towards its application in agriculture. Nevertheless, while visual pattern recognition on farmlands carries enormous economic values, little progress has been made to merge computer vision and crop sciences due to the lack of suitable agricultural image datasets. Meanwhile, problems in agriculture also pose new challenges in computer vision. For example, semantic segmentation of aerial farmland images requires inference over extremely large-size images with extreme annotation sparsity. These challenges are not present in most of the common object datasets, and we show that they are more challenging than many other aerial image datasets. To encourage research in computer vision for agriculture, we present Agriculture-Vision: a large-scale aerial farmland image dataset for semantic segmentation of agricultural patterns. We collected 94,986 high-quality aerial images from 3,432 farmlands across the US, where each image consists of RGB and Near-infrared (NIR) channels with resolution as high as 10 cm per pixel. We annotate nine types of field anomaly patterns that are most important to farmers. As a pilot study of aerial agricultural semantic segmentation, we perform comprehensive experiments using popular semantic segmentation models; we also propose an effective model designed for aerial agricultural pattern recognition. Our experiments demonstrate several challenges Agriculture-Vision poses to both the computer vision and agriculture communities. Future versions of this dataset will include even more aerial images, anomaly patterns and image channels. More information at https://www.agriculture-vision.com.

研究动机与目标

• 为解决缺乏面向农业模式识别的大型、高分辨率、多光谱航拍图像数据集的问题。
• 实现对田间异常（如杂草、营养缺乏、水分胁迫等）的语义分割，这对精准农业至关重要。
• 建立一个基准，用于评估深度学习模型在具有稀疏、复杂标注的极端尺度航拍图像上的表现。
• 探索迁移学习与多尺度推理在农业图像分析中的有效性。
• 为未来整合热成像、土壤与地形数据的数据集奠定基础。

提出的方法

• 通过在不同生长季节从多样化的美国农田中收集94,986张高分辨率航拍图像（最高达10 cm/像素），并包含RGB与近红外（NIR）波段，构建了该数据集。
• 由农学专家对九类关键田间异常模式进行标注，并实施严格的质量控制以确保准确性和一致性。
• 将图像裁剪为512×512像素的窗口，以在计算可行性与标注完整性之间取得平衡，同时提供1024×1024和多尺度窗口的替代版本用于消融实验。
• 设计了一种专用于航拍农业模式识别的定制分割模型，结合多光谱输入与注意力机制，以应对稀疏性和尺度变化问题。
• 使用最先进语义分割模型（如DeepLab、U-Net变体）进行了全面实验，并在不同窗口尺寸和数据版本上开展消融研究。
• 通过在ImageNet上预训练的模型微调至农业领域，评估了迁移学习的效果，分析其在Agriculture-Vision基准上的性能提升。

实验结果

研究问题

• RQ1 在具有稀疏标注的高分辨率、多光谱航拍农业图像上，标准语义分割模型的性能表现如何？
• RQ2 在大规模农田图像上，何种图像裁剪策略（如512×512与1024×1024或多尺度）最有利于保持模型的泛化能力与准确性？
• RQ3 从自然图像数据集（如ImageNet）进行迁移学习在多大程度上能提升农业语义分割任务的性能？
• RQ4 相较于仅使用RGB输入，多光谱输入（RGB + NIR）在农业田间异常检测中的有效性如何？
• RQ5 在标准化、大规模数据集（如Agriculture-Vision）上训练的模型，能否泛化到超出典型推理限制的极大型航拍图像？

主要发现

• 在验证集上，基于所提出的512×512 Agriculture-Vision数据集训练的模型达到最高的mIoU（43.66%），在测试集上达到37.27%，优于在更大或多尺度版本上训练的模型。
• Agriculture-Vision-MS版本（使用多种窗口尺寸以保留大尺寸标注）在测试集上的mIoU仅为31.17%，表明在输入尺度不一致时，保持标注完整性并不总能提升性能。
• 1024×1024窗口版本在测试集上的mIoU为35.01%，低于512×512基线，表明更大的裁剪可能引入噪声或降低定位精度。
• 多光谱输入（RGB + NIR）相比仅使用RGB输入显著提升了分割精度，证实了近红外数据在检测植物健康状况与异常中的重要性。
• 尽管存在较大的领域差距，从ImageNet预训练模型进行迁移学习在农业分割任务中依然有效，表明领域自适应在精准农业中的潜力。
• 本研究证实，航拍农业分割任务比标准分割任务更具挑战性，原因包括图像尺寸极端、标注稀疏以及空间模式复杂。