[논문 리뷰] Semantics-Aware Next-best-view Planning for Efficient Search and Detection of Task-relevant Plant Parts

Akshay K. Burusa, Joost Scholten외 4명|arXiv (Cornell University)|2023. 06. 16.

Smart Agriculture and AI인용 수 4

한 줄 요약

이 논문은 토마토 온실에서 로봇 인식을 위한 의미론적 인식 능력이 있는 다음 최적 시점(NBV) 계획 전략을 제안한다. 의미론적 클래스 레이블과 주의 메커니즘을 사용하여 작업에 관련된 식물 부위(토마토, 꽃대, 잎자루)의 탐지를 우선시한다. 시뮬레이션에서 85.5%의 탐지 정확도를 달성했으며, 기준 전략 대비 식물당 평균 4~11개 더 많은 부위를 탐지했고, 가림, 위치 불확실성, 식물의 복잡성에 대해 강건함을 입증했다.

ABSTRACT

Searching and detecting the task-relevant parts of plants is important to automate harvesting and de-leafing of tomato plants using robots. This is challenging due to high levels of occlusion in tomato plants. Active vision is a promising approach in which the robot strategically plans its camera viewpoints to overcome occlusion and improve perception accuracy. However, current active-vision algorithms cannot differentiate between relevant and irrelevant plant parts and spend time on perceiving irrelevant plant parts. This work proposed a semantics-aware active-vision strategy that uses semantic information to identify the relevant plant parts and prioritise them during view planning. The proposed strategy was evaluated on the task of searching and detecting the relevant plant parts using simulation and real-world experiments. In simulation experiments, the semantics-aware strategy proposed could search and detect 81.8% of the relevant plant parts using nine viewpoints. It was significantly faster and detected more plant parts than predefined, random, and volumetric active-vision strategies that do not use semantic information. The strategy proposed was also robust to uncertainty in plant and plant-part positions, plant complexity, and different viewpoint-sampling strategies. In real-world experiments, the semantics-aware strategy could search and detect 82.7% of the relevant plant parts using seven viewpoints, under complex greenhouse conditions with natural variation and occlusion, natural illumination, sensor noise, and uncertainty in camera poses. The results of this work clearly indicate the advantage of using semantics-aware active vision for targeted perception of plant parts and its applicability in the real world. It can significantly improve the efficiency of automated harvesting and de-leafing in tomato crop production.

연구 동기 및 목표

• 자동 수확 및 잎 제거 과정에서 토마토 온실 내 작업에 관련된 식물 부위의 가림 문제를 해결한다.
• 모든 식물 부위를 동일하게 취급하는 전통적인 능동 시각 방법의 한계를 극복하여 관심 대상 물체(OOI)를 우선시한다.
• 의미론적 정보(클래스 레이블 및 신뢰도 점수)를 다음 최적 시점 계획에 통합하여 탐지 효율성과 정확도를 향상시킨다.
• 실시간으로 적응 가능한 주의 메커니즘을 개발하여 인식 과정 중에 OOI 향한 시점 선택을 동적으로 안내한다.
• 실제와 유사한 조건에서 식물 구조의 불확실성, 식물 부위의 위치 불확실성, 시점 샘플링 전략에 대한 강건성을 입증한다.

제안 방법

• 신경망의 의미론적 세그멘테이션 출력(클래스 레이블 및 신뢰도 점수)을 다음 최적 시점(NBV) 계획 프레임워크에 통합한다.
• 시점 선택 과정에서 OOI(토마토, 꽃대, 잎자루)를 포함한 영역에 더 높은 우선순위를 할당하는 주의 메커니즘을 사용한다.
• 3D 식물 구조의 불확실성을 처리하기 위해 다중 시점 관측을 융합하는 볼륨 표현(OctoMap)을 구현한다.
• 전반적인 시점 커버리지가 아닌 OOI에 대한 새로운 정보를 최대화하는 방식으로 시점을 선택하는 새로운 의미론적 NBV 플래너를 정의한다.
• 다양한 복잡도의 3D 토마토 식물 모델을 사용한 시뮬레이션 환경을 구축하여 제안된 플래너 성능을 통제되고 반복 가능한 조건에서 평가한다.
• 객체 탐지 완전성 판단을 위해 F1 점수 50% 기준을 적용하고, 플래너가 이 기준을 초과해도 객체 탐지가 완료될 수 있도록 지속적으로 인식한다.

Figure 1 : Accurate and efficient detection of relevant plant-parts, such as tomatoes, peduncles, and petioles, is essential for automation of harvesting and de-leafing in tomato greenhouses.

실험 결과

연구 질문

• RQ1 의미론적 정보를 능동 시각 계획에 통합하면, 가림이 발생하는 온실 환경에서 작업에 관련된 식물 부위의 탐지 효율성과 정확도가 향상되는가?
• RQ2 기존의 체적, 사전 정의된, 무작위, 의미론적이지 않은 능동 시각 전략과 비교할 때 의미론적 인식 능력이 있는 NBV 플래너는 탐지 성능에서 어떻게 다른가?
• RQ3 제안된 의미론적 NBV 플래너는 식물 부위의 위치 불확실성, 식물 구조의 복잡성, 시점 샘플링 제약 조건에 대해 어느 정도 강건한가?
• RQ4 OOI에 초점을 맞춘 주의 메커니즘을 사용하는 것이 의미론적이지 않은 계획 전략에 비해 더 빠르고 신뢰할 수 있는 관련 식물 부위 탐지 결과를 낳는가?
• RQ5 객체 탐지 완전성 기준을 다양한 수준으로 설정했을 때 플래너의 성능은 어떻게 되며, 목표 완전성이 달성된 이후에 정지할 수 있도록 조정 가능한가?

주요 결과

• 의미론적 NBV 플래너는 96회의 실험에서 모든 식물 부위의 85.5%를 탐지했으며, 체적 NBV 플래너보다 평균적으로 식물당 4개 더 많은 부위를 탐지했다.
• 두 가지 사전 정의된 시점 전략과 비교했을 때, 의미론적 NBV 플래너는 각각 식물당 평균 5개와 9개 더 많은 식물 부위를 탐지했다.
• 무작위 시점 전략보다도 의미론적 NBV 플래너는 식물당 11개 더 많은 부위를 탐지해, 목표 지향적 인식에서의 우수성을 입증했다.
• 96회의 실험에서 플래너는 식물당 중앙값 기준 88.9%의 탐지 정확도를 달성해 다양한 조건에서도 높은 신뢰성을 보였다.
• 식물 부위의 위치 불확실성, 식물 복잡성의 변동, 다양한 시점 샘플링 전략에 대해 플래너가 강건하게 유지되어 실제 적용 가능성도 확인했다.
• 다중 시점 구조 덕분에 객체 탐지에서의 잘못된 부정 결과(false negatives)의 영향이 제한적이었으며, 한 시점에서 실패하더라도 여러 각도에서 탐지 가능했다.

Figure 2 : Schematic diagram of the experimental setup in simulation, with an ABB IRB 1200 robotic arm and Realsense L515 camera. The plant was positioned in front of the robot with uncertainty (shown in pink) to test the robustness of the viewpoint planners. The robot was allowed to choose viewpoin