[論文レビュー] Deep learning powered real-time identification of insects using citizen science data

Shivani Chiranjeevi, Mojdeh Sadaati+11 more|arXiv (Cornell University)|Jun 4, 2023

Insect and Arachnid Ecology and Behavior被引用数 11

ひとこと要約

InsectNet は self-supervised learning, transfer learning, OOD 検出, conformal prediction を用いた大規模な市民科学昆虫画像データセットを活用し、2526 種の昆虫を識別し精度は 96% 超、公開ウェブポータルと再利用可能な ML スタックを提供します。

ABSTRACT

Insect-pests significantly impact global agricultural productivity and quality. Effective management involves identifying the full insect community, including beneficial insects and harmful pests, to develop and implement integrated pest management strategies. Automated identification of insects under real-world conditions presents several challenges, including differentiating similar-looking species, intra-species dissimilarity and inter-species similarity, several life cycle stages, camouflage, diverse imaging conditions, and variability in insect orientation. A deep-learning model, InsectNet, is proposed to address these challenges. InsectNet is endowed with five key features: (a) utilization of a large dataset of insect images collected through citizen science; (b) label-free self-supervised learning for large models; (c) improving prediction accuracy for species with a small sample size; (d) enhancing model trustworthiness; and (e) democratizing access through streamlined MLOps. This approach allows accurate identification (>96% accuracy) of over 2500 insect species, including pollinator (e.g., butterflies, bees), parasitoid (e.g., some wasps and flies), predator species (e.g., lady beetles, mantises, dragonflies) and harmful pest species (e.g., armyworms, cutworms, grasshoppers, stink bugs). InsectNet can identify invasive species, provide fine-grained insect species identification, and work effectively in challenging backgrounds. It also can abstain from making predictions when uncertain, facilitating seamless human intervention and making it a practical and trustworthy tool. InsectNet can guide citizen science data collection, especially for invasive species where early detection is crucial. Similar approaches may transform other agricultural challenges like disease detection and underscore the importance of data collection, particularly through citizen science efforts..

研究の動機と目的

• 市民科学データを活用して、スケーラブルで高精度な昆虫分類器を構築する。
• 変態と、種内・種間の大きなばらつきを持つ細分化された種を扱う。
• OOD検出と conformal prediction によって信頼性と信頼性を高める。
• ウェブポータルと再利用可能な MLOps ワークフローを通じてアクセスを民主化する。

提案手法

• iNaturalist から 6M 枚の画像を含む 2526 種の昆虫データセットを作成する（全昆虫 13M、100k 種のサブセット）。
• ラベルなしデータに対してラベルなし自己教師あり学習を適用して事前学習を行い、その後ラベル付きデータでファインチューニングする。
• AlphaNet を用いて基盤モデルを再訓練せず低データ種の精度を向上させる。
• エネルギーに基づく OOD 検出で不確実な画像や分布外の画像を検出するように分類器をラップする。
• 保証された信頼度（≥97.5%）を持つ予測集合を出力するために conformal predictions を適用する。
• ウェブポータルを介してモデル、重み、量子化版、および MLOps ワークフローを公開アクセス可能にする。

Figure 1: InsectNet in action. After an image is uploaded, InsectNet first performs out-of-distribution (OOD) detection. (Left) If OOD detection is true, InsectNet provides a warning along with its prediction. (Middle) If not OOD, InsectNet produces a prediction with no warning. (Right) Additionally

実験結果

リサーチクエスチョン

• RQ1 市民科学画像を用いて、生活段階を通じて 2526 種の昆虫を正確に識別できるか？
• RQ2 大規模なラベルなしデータセットでの自己教師あり事前学習は最終的な種分類性能を向上させるか？
• RQ3 事後ラッパー（AlphaNet）は全体の精度を損なうことなく低サンプル種の精度を改善できるか？
• RQ4 エネルギーに基づく OOD 検出と conformal prediction は信頼と安全な人間介入を高めるか？
• RQ5 IPM および CSPM で実用利用のために、ウェブポータルと MLOps による民主化されたアクセスで展開可能か？

主な発見

• InsectNet は 2526 種に対して 96.4% の分類精度を達成；種ごとの平均精度は 94%。
• 種のうち 3.40% のみが精度 80% 未満で、ほとんどが画像数が多くない種（>1000 枚）でも良好な性能を示す。
• SSL プレトレーニングと大規模なラベルなしデータ、複数データセットの事前学習キャンペーンは表現品質を大幅に向上させる。
• AlphaNet は低サンプル種の精度を 79.7% から 87.6% に向上させ、全体の精度はわずか 1.3% 減の 96.4% から 95.1% に留まる。
• 分布外検出と conformal prediction はフォールセーフと信頼性保証（≥97.5%）を提供し、信頼できる人間介入を可能にする。
• InsectNet は変態段階や難しい背景の昆虫、侵略的種や有益種を含む識別が可能。

Figure 2: InsectNet is able to accurately identify insect species across the life cycle stages. Top left: charismatic species Danaus plexippus (Monarch butterfly), Bottom left: an invasive species Lycorma delicatula (Spotted lanternfly). Right panel: Examples of the ability of InsectNet to accuratel