[论文解读] Computer vision-based estimation of invertebrate biomass

Mikko Impiö, Philipp M. Rehsen+6 more|arXiv (Cornell University)|Mar 6, 2026

Cell Image Analysis Techniques被引用 0

一句话总结

本文开发并评估两种从图像估算无脊椎动物干物质量的路径：一是使用新颖的成像派生预测因子（下沉速度和面积）的线性模型；二是基于端到端的CNN模型（单视图、多视图和元数据感知），在 BIODISCOVER 图像序列上进行训练，显示在非破坏性称重条件下具有竞争力的群体层面生物量估计。

ABSTRACT

The ability to estimate invertebrate biomass using only images could help scaling up quantitative biodiversity monitoring efforts. Computer vision-based methods have the potential to omit the manual, time-consuming, and destructive process of dry weighing specimens. We present two approaches for dry mass estimation that do not require additional manual effort apart from imaging the specimens: fitting a linear model with novel predictors, automatically calculated by an imaging device, and training a family of end-to-end deep neural networks for the task, using single-view, multi-view, and metadata-aware architectures. We propose using area and sinking speed as predictors. These can be calculated with BIODISCOVER, which is a dual-camera system that captures image sequences of specimens sinking in an ethanol column. For this study, we collected a large dataset of dry mass measurement and image sequence pairs to train and evaluate models. We show that our methods can estimate specimen dry mass even with complex and visually diverse specimen morphologies. Combined with automatic taxonomic classification, our approach is an accurate method for group-level dry mass estimation, with a median percentage error of 10-20% for individuals. We highlight the importance of choosing appropriate evaluation metrics, and encourage using both percentage errors and absolute errors as metrics, because they measure different properties. We also explore different optimization losses, data augmentation methods, and model architectures for training deep-learning models.

研究动机与目标

• 为无脊椎动物的可扩展、非破坏性生物量估计提供动机，以支持生物多样性监测。
• 引入 BIODISCOVER 的成像派生预测因子（面积和下沉速度）作为生物量建模输入。
• 开发并比较线性模型与基于 CNN 的方法（单视图、多视图、元数据感知）用于干物质量估计。
• 在不同分类群和分布外情景下评估性能。
• 提出评估指标和报告指南，以实现公平的模型比较。

提出的方法

• 使用 BIODISCOVER 图像序列计算诸如标本面积和下沉速度等预测因子（来自帧计数和定位数据）。
• 使用普通最小二乘线性模型进行拟合（a）仅面积和（b）面积+下沉速度作为预测因子。
• 训练端到端的 CNN（单视图 ResNet18、两输入的多视图以及元数据感知变体），将图像（以及可选元数据）映射到干物质量。
• 在不同损失函数（L1、L2，以及对数空间中的百分比误差）、数据增强和模型架构（ResNet18 与 EfficientNet 变体）上进行实验。
• 使用多种指标（MAPE、MdAPE、MAE、RMSE、对数转换目标的 R^2）以及自举置信区间来评估模型。

(a) Araneae (O)

实验结果

研究问题

• RQ1 从 BIODISCOVER 获取的图像派生特征是否能在具有多样形态的无脊椎动物中准确预测干物质量？
• RQ2 基于 CNN 的模型是否优于使用成像预测因子的简单线性模型来进行生物量估计？
• RQ3 多视图与元数据感知架构相较于单视图模型在生物量预测中表现如何？
• RQ4 在分布外的分类群上模型的泛化行为如何？
• RQ5 报告百分比误差与绝对误差指标是否都对生物量估计有用？

主要发现

• 使用面积加下沉速度（来自图像序列）的线性模型在 RMSE 和 MAE 上显著优于仅面积的模型。
• 最佳线性模型（面积+速度）达到 RMSE 0.950 ± 0.20，MAE 0.222 ± 0.03，MdAPE 0.263 ± 0.01，R2 0.921 ± 0.01。
• 在损失函数实验中，百分比误差目标导向表现良好（MAPE 0.331 ± 0.01，MdAPE 0.267 ± 0.01，R2 0.906 ± 0.01）。
• 基于 CNN 的模型进一步提升性能，元数据感知的 ResNet18 在对数 L1 损失下训练（翻转+90°）在优化组中表现最佳。
• 在更大异质性目 Order 数据集和较小的 Species 数据集上的真实值评估显示具有竞争力的表现，并显示端到端分类学感知生物量估计的潜力。

(b) Coleoptera (O)