[论文解读] Estimating Phenotypic Traits From UAV Based RGB Imagery

Javier Ribera, Fangning He+3 more|arXiv (Cornell University)|Jul 2, 2018

Remote Sensing in Agriculture参考文献 17被引用 15

一句话总结

本文提出了一种基于无人机的RGB成像流程，利用低成本消费级无人机估算高粱的表型特征，如叶片数量、叶面积和植株位置。通过结合相机标定、运动恢复结构（SfM）以及一种新型基于三角测量的正射影像拼接技术，该方法可从畸变校正后的影像中实现高精度、非破坏性的表型分析，叶片分割和植株定位的均方根误差（RMSE）达到0.03–0.04 m。

ABSTRACT

In many agricultural applications one wants to characterize physical properties of plants and use the measurements to predict, for example biomass and environmental influence. This process is known as phenotyping. Traditional collection of phenotypic information is labor-intensive and time-consuming. Use of imagery is becoming popular for phenotyping. In this paper, we present methods to estimate traits of sorghum plants from RBG cameras on board of an unmanned aerial vehicle (UAV). The position and orientation of the imagery together with the coordinates of sparse points along the area of interest are derived through a new triangulation method. A rectified orthophoto mosaic is then generated from the imagery. The number of leaves is estimated and a model-based method to analyze the leaf morphology for leaf segmentation is proposed. We present a statistical model to find the location of each individual sorghum plant.

研究动机与目标

• 开发一种低成本、非破坏性的方法，用于在户外农田环境中估算植物表型特征。
• 通过先进的相机标定与三角测量方法，解决广角无人机RGB相机中的空间畸变问题。
• 从无人机影像中生成校正后的正射影像拼接图，以实现高精度的表型特征估算。
• 通过基于颜色的分割与统计建模，提高在真实田间条件下植株与叶片检测的准确性。
• 利用消费级无人机与RGB相机实现可扩展、自动化的表型分析。

提出的方法

• 使用USGS SMAC畸变模型进行相机标定，以校正广角镜头中的径向与偏心畸变。
• 结合无人机飞行轨迹先验信息进行运动恢复结构（SfM），以估算外方位元素（EOPs）并生成稀疏三维点云。
• 提出一种新型三角测量方法，用于计算稀疏点的三维坐标，并优化EOPs以提升几何精度。
• 利用标定后的相机参数、EOPs与三维点云对拼接图进行正射校正，生成无畸变、具有地理参考的图像。
• 在透视图、畸变校正图与正射校正图上，采用HSV阈值分割（τ₁=30, τ₂=79, τ₃=30, τ₄=163）实现基于颜色的叶片分割。
• 基于非凸代价函数的统计植株定位模型，通过迭代优化方法估算拼接图中的植株位置。

实验结果

研究问题

• RQ1 低成本机载RGB相机是否能在户外田间条件下提供准确的表型特征估算？
• RQ2 如何有效校正广角相机中的严重镜头畸变以支持表型分析？
• RQ3 与原始影像或畸变校正影像相比，正射校正拼接图在叶片与植株检测精度方面提升了多少？
• RQ4 基于叶片密度与空间分布的统计模型能否可靠地估算田间单个植株的位置？
• RQ5 无人机飞行轨迹数据的整合如何提升三维重建与图像校正的鲁棒性？

主要发现

• 所提方法在三维点定位中实现了X方向0.03 m、Y方向0.03 m、Z方向0.04 m的均方根误差（RMSE），表明具有高几何精度。
• 在正射校正拼接图上采用基于颜色的方法进行叶片分割，生成了清晰的视觉结果，热力图显示了局部叶片密度，支持可靠的叶片计数。
• 基于统计的植株定位模型通过最小化非凸代价函数成功估算出植株位置，其最小值在测试区域中与真实值高度吻合。
• 从无人机RGB影像生成的正射校正拼接图可实现高精度的表型特征估算，包括叶片数量与面积，且人工干预极少。
• 该方法对偏离垂直俯视与高度假设的情况表现出鲁棒性，尤其在固定翼与多旋翼无人机的数据集中表现良好。
• HSV分割的实验阈值（τ₁=30, τ₂=79, τ₃=30, τ₄=163）虽有效，但随生长阶段与光照条件变化，需重新调校。