[论文解读] Bayesian item response models for citizen science ecological data

Edgar Santos–Fernández, Kerrie Mengersen|arXiv (Cornell University)|Mar 16, 2020

Species Distribution and Climate Change参考文献 82被引用 6

一句话总结

本文提出了一种针对公民科学生态数据的贝叶斯项目反应理论（IRT）框架，结合了项目难度的空间自相关性，同时估计参与者能力、物种难度、猜测行为及区分度。该方法在模拟和现实世界塞伦盖蒂相机陷阱数据上，相较于传统IRT模型，在RMSE、准确率和WAIC方面表现更优，且通过分而治之策略实现大规模数据的可扩展计算。

ABSTRACT

So-called 'citizen science' data elicited from crowds has become increasingly popular in many fields including ecology. However, the quality of this information is being frequently debated by many within the scientific community. Therefore, modern citizen science implementations require measures of the users' proficiency that account for the difficulty of the tasks. We introduce a new methodological framework of item response and linear logistic test models with application to citizen science data used in ecology research. This approach accommodates spatial autocorrelation within the item difficulties and produces relevant ecological measures of species and site-related difficulties, discriminatory power and guessing behavior. These, along with estimates of the subject abilities allow better management of these programs and provide deeper insights. This paper also highlights the fit of item response models to big data via divide-and-conquer. We found that the suggested methods outperform the traditional item response models in terms of RMSE, accuracy, and WAIC based on leave-one-out cross-validation on simulated and empirical data. We present a comprehensive implementation using a case study of species identification in the Serengeti, Tanzania. The R and Stan codes are provided for full reproducibility. Multiple statistical illustrations and visualizations are given which allow practitioners the extrapolation to a wide range of citizen science ecological problems.

研究动机与目标

• 解决公民科学生态数据集中因参与者能力和项目难度为潜在且异质性变量而导致的数据质量波动问题。
• 开发一种统计框架，考虑地理标记图像中项目难度的空间自相关性，尤其适用于生态数据。
• 提升大规模、稀疏且不平衡的公民科学数据集中参与者能力估计与项目参数推断的准确性。
• 通过分而治之策略结合共识蒙特卡洛方法，实现在大数据环境下的可扩展推断，确保计算可行性。
• 为生态研究人员提供可复现、开源的实现方式，用于评估物种识别任务中参与者的熟练程度与项目难度。

提出的方法

• 采用基于线性逻辑测试模型（LLTM）和项目反应理论（IRT）的贝叶斯分层建模方法，以估计参与者能力、项目难度和猜测参数。
• 通过在地理标记位置上使用高斯过程或条件自回归（CAR）先验，将项目难度的空间自相关性纳入模型，以反映生态数据中的空间依赖性。
• 将物种和地点特定难度作为随机效应建模，从而支持对哪些物种或地点更难识别的生态学解释。
• 使用Stan进行基于马尔可夫链蒙特卡洛（MCMC）的完整贝叶斯推断，通过共识蒙特卡洛提升大规模数据集上的模型拟合效率。
• 应用潜在变量回归，将观测分类结果与潜在的参与者能力及项目特征关联，实现在缺失数据下的稳健推断。
• 通过将数据按空间或用户聚类进行分区，独立拟合子模型，并重新组合后验估计，实现分而治之策略，以支持可扩展的推断。

实验结果

研究问题

• RQ1 如何将贝叶斯IRT模型扩展以考虑公民科学数据中生态项目难度的空间自相关性？
• RQ2 与标准IRT模型相比，所提出的模型在模拟和真实生态数据集中的估计准确性和预测性能提升程度如何？
• RQ3 结合共识蒙特卡洛的分而治之方法是否能有效扩展贝叶斯IRT模型至大规模、稀疏的公民科学数据集，同时不损失准确性？
• RQ4 估计的参与者能力、物种难度和猜测行为在不同生态背景和图像质量因素下如何变化？
• RQ5 在真实相机陷阱研究中，从估计的项目参数中可获得关于图像质量、相机设置和物种相似性的哪些洞见？

主要发现

• 所提出的具有项目难度空间自相关性的贝叶斯IRT模型，在模拟和实证数据上均显著优于标准IRT模型，体现在均方根误差（RMSE）、准确率和广义适用信息准则（WAIC）方面。
• 该模型能够高精度估计参与者能力、物种难度和猜测行为，从而实现对贡献的更好加权，并提升分类任务的一致性。
• 结合共识蒙特卡洛的分而治之方法可在保持准确性的前提下，实现对大规模数据集的可扩展推断，显著降低计算负担。
• 塞伦盖蒂相机陷阱数据案例研究显示，某些物种在识别上始终更具挑战性，难度的空间模式反映了生态与摄影因素的影响。
• 模型通过异常的项目难度估计识别出图像质量问题，如光照不足、分辨率低和闪光干扰，提示存在技术或环境混杂因素。
• 已开发并公开发布R包'staircase'，为生态学研究者提供一个完全可复现、开源的工具，用于拟合此类模型以分析生态公民科学数据。