[논문 리뷰] Deep learning powered real-time identification of insects using citizen science data

Shivani Chiranjeevi, Mojdeh Sadaati외 11명|arXiv (Cornell University)|2023. 06. 04.

Insect and Arachnid Ecology and Behavior인용 수 11

한 줄 요약

InsectNet은 self-supervised 학습, 전이 학습, OOD 탐지, 그리고 conformal 예측을 사용하여 2526종의 곤충을 식별하고 정확도 96% 이상을 달성하며 공개 웹 포털과 재사용 가능한 ML 스택을 제공합니다.

ABSTRACT

Insect-pests significantly impact global agricultural productivity and quality. Effective management involves identifying the full insect community, including beneficial insects and harmful pests, to develop and implement integrated pest management strategies. Automated identification of insects under real-world conditions presents several challenges, including differentiating similar-looking species, intra-species dissimilarity and inter-species similarity, several life cycle stages, camouflage, diverse imaging conditions, and variability in insect orientation. A deep-learning model, InsectNet, is proposed to address these challenges. InsectNet is endowed with five key features: (a) utilization of a large dataset of insect images collected through citizen science; (b) label-free self-supervised learning for large models; (c) improving prediction accuracy for species with a small sample size; (d) enhancing model trustworthiness; and (e) democratizing access through streamlined MLOps. This approach allows accurate identification (>96% accuracy) of over 2500 insect species, including pollinator (e.g., butterflies, bees), parasitoid (e.g., some wasps and flies), predator species (e.g., lady beetles, mantises, dragonflies) and harmful pest species (e.g., armyworms, cutworms, grasshoppers, stink bugs). InsectNet can identify invasive species, provide fine-grained insect species identification, and work effectively in challenging backgrounds. It also can abstain from making predictions when uncertain, facilitating seamless human intervention and making it a practical and trustworthy tool. InsectNet can guide citizen science data collection, especially for invasive species where early detection is crucial. Similar approaches may transform other agricultural challenges like disease detection and underscore the importance of data collection, particularly through citizen science efforts..

연구 동기 및 목표

• 시민 과학 데이터를 활용하여 확장 가능하고 정확한 곤충 분류기를 구축한다.
• 변태와 미세 종 구분의 높은 내·외부 변이성을 다룬다.
• OOD 탐지와 conformal 예측을 통해 신뢰성과 신뢰를 향상시킨다.
• 웹 포털 및 재사용 가능한 MLOps 워크플로우를 통해 접근성을 민주화한다.

제안 방법

• iNaturalist에서 2526종의 곤충으로부터 6M 이미지의 데이터세트를 구성한다(전체 곤충의 부분집합 13M, 종 100k).
• 레이블이 없는 데이터에 대해 라벨링 없이 자체 감독 학습을 적용하여 사전 학습 모델을 학습한 후, 레이블이 있는 데이터로 미세 조정한다.
• 기반 모델 재훈련 없이 저샘플 종의 정확도를 높이기 위해 AlphaNet를 사용한다.
• 에너지 기반의 OOD 탐지로 불확실하거나 분포 밖 이미지에 대해 경고를 표기한다.
• 보증된 신뢰도(≥97.5%)를 가진 예측 집합을 출력하는 conformal 예측을 적용한다.
• 웹 포털을 통해 모델, 가중치, 양자화 버전, MLOps 워크플로우에 공개적으로 접근 가능하도록 한다.

Figure 1: InsectNet in action. After an image is uploaded, InsectNet first performs out-of-distribution (OOD) detection. (Left) If OOD detection is true, InsectNet provides a warning along with its prediction. (Middle) If not OOD, InsectNet produces a prediction with no warning. (Right) Additionally

실험 결과

연구 질문

• RQ1 InsectNet가 시민 과학 이미지로 life stages 전반에 걸쳐 2526종의 곤충을 정확히 식별할 수 있는가?
• RQ2 대규모 레이블이 없는 데이터에 대한 self-supervised 사전 학습이 최종 종 분류 성능을 향상시키는가?
• RQ3 포스트 호크 래퍼(AlphaNet)가 전반적 정확도에 해를 주지 않으면서 저샘플 종의 정확도를 개선할 수 있는가?
• RQ4 에너지 기반 OOD 탐지와 conformal 예측이 신뢰와 안전한 인간 개입을 향상시키는가?
• RQ5 IPM 및 CSPM에서 실제 사용을 위한 웹 포털 및 MLOps를 통한 민주적 접근이 가능하게 하는가?

주요 결과

• InsectNet는 2526종에서 96.4%의 분류 정확도; 종당 평균 정확도는 94%이다.
• 종의 3.40%만이 80% 미만의 정확도를 보이며, 대부분의 대표성이 낮은 종(이미지 수가 >1000인 경우)이 잘 수행된다.
• 대규모 레이블 없는 데이터 및 다중 데이터세트 사전 학습 캠페인을 통한 SSL 사전 학습은 표현 품질을 크게 향상시킨다.
• AlphaNet은 저샘플 종의 정확도를 79.7%에서 87.6%로 개선하되 전체 정확도는 1.3% 하락하여 96.4%에서 95.1%로 감소한다.
• OOD 탐지 및 conformal 예측은 실패 방지 및 신뢰 구간(≥97.5%)을 제공하여 신뢰할 수 있는 인간 개입을 가능하게 한다.
• InsectNet은 변태 단계와 어려운 배경에서도 곤충을 식별할 수 있으며 침입종 및 유용종을 포함한다.

Figure 2: InsectNet is able to accurately identify insect species across the life cycle stages. Top left: charismatic species Danaus plexippus (Monarch butterfly), Bottom left: an invasive species Lycorma delicatula (Spotted lanternfly). Right panel: Examples of the ability of InsectNet to accuratel