[论文解读] A new method for faster and more accurate inference of species associations from novel community data

Maximilian Pichler, Florian Härtig|arXiv (Cornell University)|Mar 11, 2020

Environmental DNA in Biodiversity Studies参考文献 58被引用 8

一句话总结

本文提出 sjSDM，一种可扩展的联合物种分布模型（JSDM），采用蒙特卡洛积分与弹性网络正则化技术，并基于 PyTorch 实现，可在大规模群落数据集中实现快速、精确的物种种间关联推断——在保持或提升准确率的同时，相较于现有方法实现数量级的速度提升，即使在包含数千个真菌 OTU 的环境DNA（eDNA）数据上亦表现优异。

ABSTRACT

1. Joint Species Distribution models (JSDMs) explain spatial variation in community composition by contributions of the environment, biotic associations, and possibly spatially structured residual covariance. They show great promise as a general analytical framework for community ecology and macroecology, but current JSDMs, even when approximated by latent variables, scale poorly on large datasets, limiting their usefulness for currently emerging big (e.g., metabarcoding and metagenomics) community datasets. 2. Here, we present a novel, more scalable JSDM (sjSDM) that circumvents the need to use latent variables by using a Monte-Carlo integration of the joint JSDM likelihood and allows flexible elastic net regularization on all model components. We implemented sjSDM in PyTorch, a modern machine learning framework that can make use of CPU and GPU calculations. Using simulated communities with known species-species associations and different number of species and sites, we compare sjSDM with state-of-the-art JSDM implementations to determine computational runtimes and accuracy of the inferred species-species and species-environmental associations. 3. We find that sjSDM is orders of magnitude faster than existing JSDM algorithms (even when run on the CPU) and can be scaled to very large datasets. Despite the dramatically improved speed, sjSDM produces more accurate estimates of species association structures than alternative JSDM implementations. We demonstrate the applicability of sjSDM to big community data using eDNA case study with thousands of fungi operational taxonomic units (OTU). 4. Our sjSDM approach makes the analysis of JSDMs to large community datasets with hundreds or thousands of species possible, substantially extending the applicability of JSDMs in ecology. We provide our method in an R package to facilitate its applicability for practical data analysis.

研究动机与目标

• 解决现有联合物种分布模型（JSDM）在大规模群落数据（如宏条形码与宏基因组数据）上计算不可行的问题。
• 克服传统 JSDM 依赖潜变量而随物种种数与采样点数增加导致可扩展性差的局限。
• 开发一种方法，在显著降低运行时间的同时，保持物种-环境关联与物种种间关联估计的高精度。
• 通过集成现代机器学习框架（如 PyTorch）实现 CPU 与 GPU 加速，使 JSDM 在生态学大数据中的实际应用成为可能。

提出的方法

• 用全联合似然的蒙特卡洛积分替代传统 JSDM 中对潜变量的近似，避免计算瓶颈。
• 在所有模型组件（环境效应、物种种间关联与残差协方差）上实施灵活的弹性网络正则化，以提升估计稳定性与稀疏性。
• 基于 PyTorch 实现 sjSDM 框架，利用 CPU 与 GPU 计算实现硬件加速，提升高性能推断能力。
• 采用带蒙特卡洛采样的随机优化方法，近似 JSDM 中难以计算的似然积分，实现可扩展计算。
• 将 JSDM 建模为具有多变量正态似然的层次贝叶斯模型，并通过随机梯度下降实现变分推断。
• 通过惩罚似然估计实现正则化，防止过拟合并增强推断物种种间关联的可解释性。

实验结果

研究问题

• RQ1 是否可实现一种不依赖潜变量近似的 JSDM，使其在大规模群落数据集上计算可行？
• RQ2 在模拟数据上，sjSDM 与现有 JSDM 实现相比，物种种间关联与物种种-环境关联的估计准确率如何？
• RQ3 在真实生态数据集中，sjSDM 在物种种数与采样点数增加时的可扩展性如何？
• RQ4 sjSDM 是否能有效从高通量测序数据（如含数千个 OTU 的 eDNA 宏条形码数据）中推断生物关联？

主要发现

• 即使仅在 CPU 上运行，sjSDM 的运行时间相比现有 JSDM 实现仍实现数量级的提升。
• 尽管运行速度极快，sjSDM 在模拟群落数据中对物种种间关联结构的估计精度仍优于其他 JSDM 方法。
• 该方法成功扩展至大规模数据集，包括一个包含超过 1,000 个真菌操作分类单元（OTUs）的 eDNA 案例研究。
• sjSDM 即使在高维与高噪声条件下，仍能保持物种-环境关联与物种种间关联推断的高精度。
• 弹性网络正则化的集成提升了模型可解释性，并降低了高维生态数据中的过拟合风险。
• PyTorch 的使用使 CPU 与 GPU 上的计算均高效，显著提升了 JSDM 在大规模生态推断中的实用性。