[논문 리뷰] Spatial Monitoring and Insect Behavioural Analysis Using Computer Vision for Precision Pollination

Malika Nisal Ratnayake, Don Chathurika Amarathunga외 3명|arXiv (Cornell University)|2022. 05. 10.

Plant and animal studies인용 수 5

한 줄 요약

이 논문은 농업 분야의 대규모 지역에서 여러 곤충 종을 마커 없이 자동으로 추적하고 행동 분석할 수 있도록 엣지 컴퓨팅 기반의 다중 지점 영상 기록과 딥러닝을 활용한 컴퓨터 비전 시스템을 제시한다. 이 시스템은 상업적인 블루베리 농장에서 네 종의 곤충에 대해 F-스코어 0.8 이상을 달성하여 정밀한 수분 영향 평가와 식량 안보를 위한 데이터 기반 관리가 가능해졌다.

ABSTRACT

Insects are the most important global pollinator of crops and play a key role in maintaining the sustainability of natural ecosystems. Insect pollination monitoring and management are therefore essential for improving crop production and food security. Computer vision facilitated pollinator monitoring can intensify data collection over what is feasible using manual approaches. The new data it generates may provide a detailed understanding of insect distributions and facilitate fine-grained analysis sufficient to predict their pollination efficacy and underpin precision pollination. Current computer vision facilitated insect tracking in complex outdoor environments is restricted in spatial coverage and often constrained to a single insect species. This limits its relevance to agriculture. Therefore, in this article we introduce a novel system to facilitate markerless data capture for insect counting, insect motion tracking, behaviour analysis and pollination prediction across large agricultural areas. Our system is comprised of edge computing multi-point video recording, offline automated multispecies insect counting, tracking and behavioural analysis. We implement and test our system on a commercial berry farm to demonstrate its capabilities. Our system successfully tracked four insect varieties, at nine monitoring stations within polytunnels, obtaining an F-score above 0.8 for each variety. The system enabled calculation of key metrics to assess the relative pollination impact of each insect variety. With this technological advancement, detailed, ongoing data collection for precision pollination becomes achievable. This is important to inform growers and apiarists managing crop pollination, as it allows data-driven decisions to be made to improve food production and food security.

연구 동기 및 목표

• 수동 수분자 모니터링의 한계를 해결하기 위해, 시간과 노동력이 많이 들고 곤충 이동 및 분포를 기능적으로 정확히 추적하지 못하는 문제를 해결하고자 한다.
• 실외 농업 환경에서 단일 종, 국한된 공간 범위의 컴퓨터 비전 시스템의 제약을 극복하고자 한다.
• 대규모 농업 지역에서 지속적이고 자동화된 곤충 행동 및 공간 분포 모니터링을 위한 확장 가능한 마커 없는 시스템을 개발하고자 한다.
• 다른 곤충 종의 수분 효율성을 정량화하여 데이터 기반 결정보를 통해 정밀 수분을 가능하게 하고자 한다.
• 고해상도 시공간 데이터를 제공하여 식량 안보와 생태계 지속 가능성을 지원하고자 한다.

제안 방법

• 상업 농장의 폴리타운내 9개 모니터링 스테이션에 엣지 컴퓨팅 기반의 다중 지점 영상 기록을 구축하였다.
• 마커나 태그 없이도 자동으로 오프라인에서 다종의 곤충 수를 세고, 움직임을 추적하며 행동 분석을 수행하는 딥러닝 모델을 활용하였다.
• 복잡하고 동적인 실외 환경에서 겹치거나 가림을 입는 곤충을 다룰 수 있도록 다중 객체 추적 프레임워크를 적용하였다.
• 공간적 및 시간적 분석을 통합하여 농장 전역에서 곤충 분포와 꽃 방문 행동을 매핑하였다.
• 방문 빈도, 지속 시간, 공간 집합성과 같은 핵심 지표를 계산하여 각 곤충 종의 수분 영향을 평가하였다.
• 네 종의 곤충에 대해 F-스코어 평가를 통해 시스템 성능을 검증하였으며, 각 종에 대해 0.8 초과를 달성하였다.

실험 결과

연구 질문

• RQ1 마커나 태그 없이도 대규모 농업 환경에서 정확한 다종 곤충 추적을 위한 컴퓨터 비전 시스템이 가능할 수 있는가?
• RQ2 상업 블루베리 농업에서 곤충 방문의 공간적 및 시간적 분포는 수분 효율성과 어떻게 관련이 있는가?
• RQ3 실제 농업 환경에서 다양한 곤충 종이 꽃 수분에 기여하는 상대적 기여도는 어떠한가?
• RQ4 자동화된 행동 분석은 이동 패턴과 방문 지표를 기반으로 효과적인 수분자와 비효율적인 수분자를 구별할 수 있는가?
• RQ5 이러한 시스템이 상업 농업에서 정밀 수분과 데이터 기반 관리에 얼마나 기여할 수 있는가?

주요 결과

• 이 시스템은 상업 농장의 딸기 재배 지역에서 폴리타운 내 9개 모니터링 스테이션에서 네 종의 곤충을 추적하는 데 F-스코어 0.8 초과를 달성하였다.
• 꿀벌은 가장 효과적인 수분자로 밝혀졌으며, 꿀벌이 방문한 꽃 중 67%가 신뢰할 수 있는 수분 조건을 충족하거나 초과하였다.
• 다른 수분자들은 연구 현장에서 덜 효과적이었으며, 이는 수분 효율성에서 종 간의 차이가 있음을 시사한다.
• 공간적 모니터링 결과 곤충 활동의 고유한 분포 패턴이 드러나, 농장 관리자가 수분 집중 관리가 필요한 지역을 식별할 수 있게 되었다.
• 곤충 수의 시간적 분석 결과, 관찰된 행동 역학에 기반해 샘플링 빈도와 지속 시간을 최적화할 수 있었다.
• 이 시스템은 수동 모니터링의 능력을 뛰어넘는 세밀하고 지속적이며 확장 가능한 곤충-꽃 상호작용 데이터 수집이 가능해졌다.