[论文解读] Attention-driven Next-best-view Planning for Efficient Reconstruction of Plants and Targeted Plant Parts

Akshay K. Burusa, E.J. van Henten+1 more|arXiv (Cornell University)|Jun 21, 2022

Smart Agriculture and AI被引用 11

一句话总结

本文提出了一种基于注意力机制的下一最佳视角（NBV）规划算法，用于机器人对番茄植株的3D重建，通过任务特定的注意力机制优先处理如叶节、主茎或整株植物等相关植株部位。通过聚焦于感兴趣区域，该方法在重建精度上最高提升25.9%，且与预定义和随机策略相比，视角数量最多减少3个，尤其在细粒度目标上表现更优。

ABSTRACT

Robots in tomato greenhouses need to perceive the plant and plant parts accurately to automate monitoring, harvesting, and de-leafing tasks. Existing perception systems struggle with the high levels of occlusion in plants and often result in poor perception accuracy. One reason for this is because they use fixed cameras or predefined camera movements. Next-best-view (NBV) planning presents an alternate approach, in which the camera viewpoints are reasoned and strategically planned such that the perception accuracy is improved. However, existing NBV-planning algorithms are agnostic to the task-at-hand and give equal importance to all the plant parts. This strategy is inefficient for greenhouse tasks that require targeted perception of specific plant parts, such as the perception of leaf nodes for de-leafing. To improve targeted perception in complex greenhouse environments, NBV planning algorithms need an attention mechanism to focus on the task-relevant plant parts. In this paper, the role of attention in improving targeted perception using an attention-driven NBV planning strategy was investigated. Through simulation experiments using plants with high levels of occlusion and structural complexity, it was shown that focusing attention on task-relevant plant parts can significantly improve the speed and accuracy of 3D reconstruction. Further, with real-world experiments, it was shown that these benefits extend to complex greenhouse conditions with natural variation and occlusion, natural illumination, sensor noise, and uncertainty in camera poses. The results clearly indicate that using attention-driven NBV planning in greenhouses can significantly improve the efficiency of perception and enhance the performance of robotic systems in greenhouse crop production.

研究动机与目标

• 解决在高度遮挡、多变的温室环境中，由于植株自然变异和部分可见性导致的3D重建效率低下问题。
• 通过引入任务特定的注意力机制改进主动视觉规划，使机器人能够优先关注相关植株部位（如叶节、主茎）而非无关区域。
• 在最大化目标感知目标（如叶节重建）的信息增益的同时，减少所需视角数量。
• 在不同植株模型、遮挡水平、视角候选集和重建分辨率下评估方法的鲁棒性。
• 证明注意力机制在复杂农业食品机器人环境中的高质量感知中具有关键作用。

提出的方法

• 该方法采用实时3D概率占据图来表示重建的植株结构及其不确定性。
• 利用注意力机制基于任务定义感兴趣区域（RoI），如整株植物、主茎或叶节，以指导视角选择。
• 从候选视角集合中，算法选择能最大化信息增益（即预期不确定性减少量）的下一最佳视角，且该增益仅在RoI内计算。
• 注意力机制动态加权各视角，基于其对目标区域不确定性减少的预期贡献，从而提升相关性和效率。
• 在模拟温室环境中对规划器进行评估，使用具有受控遮挡和变异的合成番茄植株模型。
• 在相同条件和指标下，将性能与预定义和随机的NBV规划策略进行基准对比。

实验结果

研究问题

• RQ1 与非注意力策略相比，基于注意力的NBV规划器是否能显著提升针对叶节等特定植株部位的3D重建精度？
• RQ2 基于注意力的规划是否能减少重建特定植株结构（如主茎或叶节）所需的视角数量？
• RQ3 该注意力驱动的NBV规划器对植株形态变化、遮挡水平和视角候选集变化的鲁棒性如何？
• RQ4 注意力机制的性能增益是否依赖于对任务目标区域的正确指定？
• RQ5 注意力机制是否能在不同重建分辨率和环境条件下保持高性能？

主要发现

• 与随机规划相比，基于注意力的NBV规划器在三个视角后，叶节的重建精度提升了25.9%；与预定义策略相比，精度提升14.2%。
• 在叶节重建任务中，基于注意力的规划器仅需比随机和预定义规划器少3个视角，即可重建80%的目标结构。
• 与两种基线策略相比，该方法将重建80%整株植物所需视角数量减少了1个。
• 注意力机制显著提升了对细粒度目标（如叶节）的性能表现，这些目标在遮挡和复杂度方面最高。
• 该规划器在多种条件下均保持优异性能，包括植株模型变化、遮挡水平变化、候选视角数量变化以及重建分辨率变化。
• 正确指定感兴趣区域（如叶节重建时指定叶节）至关重要；若注意力聚焦于整株植物，则在细粒度目标上的表现显著变差。