[논문 리뷰] Attention-driven Next-best-view Planning for Efficient Reconstruction of Plants and Targeted Plant Parts

Akshay K. Burusa, E.J. van Henten외 1명|arXiv (Cornell University)|2022. 06. 21.

Smart Agriculture and AI인용 수 11

한 줄 요약

이 논문은 잎의 기부, 주 줄기 또는 전체 식물과 같은 관련 식물 부위를 우선시하기 위해 작업 특화 주의를 사용하는 로봇 3D 재구성용 주의 기반 다음 최적 시점(NBV) 계획 알고리즘을 제안한다. 관심 영역에 집중함으로써 이 방법은 전통적인 사전 정의된 전략 및 무작위 전략 대비 재구성 정확도를 최대 25.9% 향상시키고, 특히 미세한 목표물에 대해 시점 수를 최대 3개 줄였다.

ABSTRACT

Robots in tomato greenhouses need to perceive the plant and plant parts accurately to automate monitoring, harvesting, and de-leafing tasks. Existing perception systems struggle with the high levels of occlusion in plants and often result in poor perception accuracy. One reason for this is because they use fixed cameras or predefined camera movements. Next-best-view (NBV) planning presents an alternate approach, in which the camera viewpoints are reasoned and strategically planned such that the perception accuracy is improved. However, existing NBV-planning algorithms are agnostic to the task-at-hand and give equal importance to all the plant parts. This strategy is inefficient for greenhouse tasks that require targeted perception of specific plant parts, such as the perception of leaf nodes for de-leafing. To improve targeted perception in complex greenhouse environments, NBV planning algorithms need an attention mechanism to focus on the task-relevant plant parts. In this paper, the role of attention in improving targeted perception using an attention-driven NBV planning strategy was investigated. Through simulation experiments using plants with high levels of occlusion and structural complexity, it was shown that focusing attention on task-relevant plant parts can significantly improve the speed and accuracy of 3D reconstruction. Further, with real-world experiments, it was shown that these benefits extend to complex greenhouse conditions with natural variation and occlusion, natural illumination, sensor noise, and uncertainty in camera poses. The results clearly indicate that using attention-driven NBV planning in greenhouses can significantly improve the efficiency of perception and enhance the performance of robotic systems in greenhouse crop production.

연구 동기 및 목표

• 식물의 천연 변동성과 부분적 가림으로 인해 높은 가림을 겪는 변동성이 큰 온실 환경에서 비효율적인 3D 재구성 문제를 해결하기 위해.
• 작업 특화 주의를 통합함으로써 능동 시각 계획을 향상시켜, 로봇이 관련 식물 부위(예: 잎의 기부, 주 줄기)를 무관한 영역보다 우선시할 수 있도록 하기 위해.
• 특정 목표 인식 목적(예: 잎의 기부 재구성)을 위해 정보 수확량을 극대화하면서 필요한 시점 수를 줄이기 위해.
• 다양한 식물 모델, 가림 수준, 시점 후보 집합, 재구성 해상도에 걸쳐 강인성을 평가하기 위해.
• 주의 메커니즘이 복잡한 농업-식품 로봇 환경에서 고품질 인식을 위해 필수적임을 입증하기 위해.

제안 방법

• 재구성된 식물 구조와 불확실성을 표현하기 위해 실시간 3D 확률적 점유 지ap을 사용한다.
• 작업에 따라 전체 식물, 주 줄기 또는 잎의 기부와 같이 목표 영역을 정의하기 위해 주의 메커니즘을 사용한다.
• 후보 시점 집합에서, 주의 영역 내에서 불확실성 감소의 기대값을 최대화하는 다음 최적의 시점을 선택한다.
• 주의 메커니즘은 목표 영역 내 불확실성 감소에 기여할 잠재적 기여도에 따라 시점을 동적으로 가중하여 관련성과 효율성을 향상시킨다.
• 합성 토마토 식물 모델을 사용해 제어된 가림과 변동성을 가진 시뮬레이션된 온실 환경에서 플래너를 평가한다.
• 동일한 조건과 지표 하에서 사전 정의된 전략 및 무작위 NBV 계획 전략과 성능을 비교 평가한다.

실험 결과

연구 질문

• RQ1 주목 기반 NBV 플래너는 비주의 전략에 비해 잎의 기부와 같은 특정 식물 부위의 3D 재구성 정확도를 크게 향상시킬 수 있는가?
• RQ2 주의 기반 계획은 주 줄기 또는 잎의 기부와 같은 특정 식물 구조를 재구성하기 위해 필요한 시점 수를 줄일 수 있는가?
• RQ3 식물 형태학적 변동성, 가림 수준, 시점 후보 집합의 변화에 대해 주목 기반 NBV 플래너는 얼마나 강인한가?
• RQ4 주의 메커니즘의 성능 향상은 작업에 맞는 올바른 관심 영역(RoI) 지정 여부에 따라 달라지는가?
• RQ5 주의 메커니즘은 다양한 재구성 해상도와 환경 조건에서도 높은 성능을 유지할 수 있는가?

주요 결과

• 주목 기반 NBV 플래너는 무작위 계획 전략 대비 3개의 시점 후 잎의 기부 재구성 정확도에서 최대 25.9% 향상되었고, 사전 정의된 전략 대비 14.2% 향상되었다.
• 잎의 기부 재구성을 위해 주목 기반 플래너는 무작위 및 사전 정의된 플래너보다 3개 적은 시점으로 목표 구조의 80%를 재구성하는 데 성공했다.
• 전체 식물의 80%를 재구성하기 위해 필요한 시점 수를 사전 정의된 전략 두 가지 모두와 비교해 1개 줄였다.
• 주의 메커니즘은 가림과 복잡성이 가장 높은 미세한 목표물(예: 잎의 기부)에 대해 성능 향상을 크게 향상시켰다.
• 식물 모델, 가림 수준, 후보 시점 수, 재구성 해상도의 변화와 같은 다양한 조건에서도 플래너는 강력한 성능을 유지했다.
• 정확한 관심 영역(예: 잎의 기부 재구성에 있어 잎의 기부)을 제공하는 것이 필수적이었으며, 전체 식물에 주목할 경우 미세한 목표물에 대해 성능이 크게 떨어졌다.