[论文解读] Estimates of maize plant density from UAV RGB images using Faster-RCNN detection model: impact of the spatial resolution

Kaaviya Velumani, Raúl López‐Lozano+5 more|arXiv (Cornell University)|May 25, 2021

Remote Sensing in Agriculture参考文献 74被引用 72

一句话总结

本研究评估了Faster-RCNN在不同地面采样距离（GSD）下，利用无人机RGB图像进行玉米植株密度估算的性能，结果表明：当模型在高分辨率（GSD ≈ 0.3 cm）图像上进行训练，并应用于低分辨率（GSD ≈ 0.6 cm）数据时，其性能显著下降。主要贡献在于：使用混合分辨率数据进行训练或采用基于GAN的超分辨率方法可提升低分辨率下的检测性能，尽管原生低分辨率图像仍因图像质量差而表现不佳。

ABSTRACT

Early-stage plant density is an essential trait that determines the fate of a genotype under given environmental conditions and management practices. The use of RGB images taken from UAVs may replace traditional visual counting in fields with improved throughput, accuracy and access to plant localization. However, high-resolution (HR) images are required to detect small plants present at early stages. This study explores the impact of image ground sampling distance (GSD) on the performances of maize plant detection at 3-5 leaves stage using Faster-RCNN. Data collected at HR (GSD=0.3cm) over 6 contrasted sites were used for model training. Two additional sites with images acquired both at high and low (GSD=0.6cm) resolution were used for model evaluation. Results show that Faster-RCNN achieved very good plant detection and counting (rRMSE=0.08) performances when native HR images are used both for training and validation. Similarly, good performances were observed (rRMSE=0.11) when the model is trained over synthetic low-resolution (LR) images obtained by down-sampling the native training HR images, and applied to the synthetic LR validation images. Conversely, poor performances are obtained when the model is trained on a given spatial resolution and applied to another spatial resolution. Training on a mix of HR and LR images allows to get very good performances on the native HR (rRMSE=0.06) and synthetic LR (rRMSE=0.10) images. However, very low performances are still observed over the native LR images (rRMSE=0.48), mainly due to the poor quality of the native LR images. Finally, an advanced super-resolution method based on GAN (generative adversarial network) that introduces additional textural information derived from the native HR images was applied to the native LR validation images. Results show some significant improvement (rRMSE=0.22) compared to bicubic up-sampling approach.

研究动机与目标

• 评估Faster-RCNN在高分辨率无人机RGB图像（GSD ≈ 0.3 cm）上进行玉米植株检测的准确性和鲁棒性。
• 评估模型在应用于与训练时空间分辨率不同的图像时的泛化能力。
• 探究数据增强技术（特别是下采样和超分辨率）在跨分辨率域提升检测性能的有效性。
• 比较双三次上采样与基于GAN的超分辨率（Cycle-ESRGAN）在提升低分辨率验证图像性能方面的表现。

提出的方法

• 在法国多个地点采集的无人机RGB图像上训练并验证Faster-RCNN目标检测模型，飞行高度各不相同。
• 使用来自六个对比鲜明地点的高分辨率图像（GSD ≈ 0.3 cm）进行训练，另外两个地点提供高分辨率和低分辨率（GSD ≈ 0.6 cm）图像用于评估。
• 通过下采样原生高分辨率训练图像，生成合成的低分辨率图像，以模拟真实的低分辨率数据。
• 对原生低分辨率验证图像应用基于GAN的超分辨率模型（Cycle-ESRGAN），以增强纹理并改善检测特征。
• 通过rRMSE、准确率（Ac）和平均精度（AP）在不同训练与验证配置下评估性能。
• 还通过结合高分辨率与低分辨率数据对模型进行微调，以评估其在不同分辨率域中的泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 地面采样距离（GSD）如何影响Faster-RCNN在三至五叶期玉米植株检测中的性能？
• RQ2 在高分辨率图像上训练的模型能否有效泛化到在更高海拔获取的低分辨率图像？
• RQ3 下采样和超分辨率等数据增强技术在多大程度上能提升低分辨率图像上的检测性能？
• RQ4 双三次上采样与基于GAN的超分辨率在提升低分辨率图像用于玉米植株检测方面有何差异？
• RQ5 图像质量（尤其是纹理损失和压缩伪影）在多大程度上限制了原生低分辨率图像上的检测性能？

主要发现

• 当在原生高分辨率图像（GSD ≈ 0.3 cm）上进行训练和验证时，Faster-RCNN表现出色，rRMSE = 0.08。
• 当在合成低分辨率图像（由高分辨率图像下采样生成）上进行训练，并应用于合成低分辨率验证图像时，模型保持良好性能（rRMSE = 0.11）。
• 当在高分辨率数据上训练的模型应用于原生低分辨率图像时，性能显著下降（rRMSE = 0.48），主要原因是图像质量差和纹理缺失。
• 在高分辨率与低分辨率图像混合数据集上进行训练，取得了优异结果：原生高分辨率图像上的rRMSE = 0.06，合成低分辨率图像上的rRMSE = 0.10。
• 基于GAN的超分辨率（Cycle-ESRGAN）在原生低分辨率图像上的检测性能优于双三次上采样（rRMSE = 0.22 vs. rRMSE = 0.48），尽管性能仍远低于高分辨率数据水平。
• 超分辨率图像引入了伪影，例如在阴影或背景区域出现虚假绿色像素，导致某些情况下误报增加，表明其在真实感和泛化能力方面存在局限。