[论文解读] Estimating the number of species to attain sufficient representation in a random sample

Chao Deng, Timothy Daley+3 more|arXiv (Cornell University)|Jul 11, 2016

Census and Population Estimation参考文献 13被引用 6

一句话总结

本文提出一种非参数估计器 Ψ_{r,m}(t)，基于初始样本的频率，预测在未来样本量为 t 时至少被观测到 r 次的物种类群的期望数量。通过使用物种类群发现率第 r 阶导数的有理函数逼近，该方法实现了对大 r 值和高维数据集的准确、稳定的长程外推，其在模拟和真实应用（包括基因组学与社交网络）中均优于现有方法。

ABSTRACT

The statistical problem of using an initial sample to estimate the number of species in a larger sample has found important applications in fields far removed from ecology. Here we address the general problem of estimating the number of species that will be represented by at least a number r of observations in a future sample. The number r indicates species with sufficient observations, which are commonly used as a necessary condition for any robust statistical inference. We derive a procedure to construct consistent estimators that apply universally for a given population: once constructed, they can be evaluated as a simple function of r. Our approach is based on a relation between the number of species represented at least r times and the higher derivatives of the expected number of species discovered per unit of time. Combining this relation with a rational function approximation, we propose nonparametric estimators that are accurate for both large values of r and long-range extrapolations. We further show that our estimators retain asymptotic behaviors that are essential for applications on large-scale datasets. We evaluate the performance of this approach by both simulation and real data applications for inferences of the vocabulary of Shakespeare and Dickens, the topology of a Twitter social network, and molecular diversity in DNA sequencing data.

研究动机与目标

• 解决在将来样本中估计至少被观测 r 次的物种类群数量的统计挑战，其中 r > 1 表示足够代表性以支持稳健推断。
• 开发一种通用的非参数估计器，适用于给定种群中不同 r 值的场景，且无需对物种类群丰度分布作参数假设。
• 提升物种累积曲线在 r=1 以外的长程外推准确性，尤其针对大 r 值和大规模数据集（如 DNA 测序与社交媒体数据）。
• 提供一种稳定且理论基础坚实的估计方法，通过利用物种频率计数的高阶矩来增强估计的可靠性。

提出的方法

• 该方法推导了 r 物种累积曲线 E[S_r(t)] 与平均发现率 E[S_1(t)]/t 的 (r−1) 阶导数之间的理论关系。
• 通过使用具有潜在强度分布 G(λ) 的泊松过程混合模型来描述物种频率分布，避免直接估计 G(λ)。
• 采用形式为 P_{m-1}(t)/Q_m(t) 的有理函数逼近（RFA），以逼近发现率的导数，从而实现稳定且准确的估计。
• 估计器 Ψ_{r,m}(t) 构建为初始样本频率计数 N_j 的函数，特别利用 Padé 逼近中的高阶矩。
• 该方法通过基于导数关系的直接建模 E[S_r(t)]，避免了对单个 E[N_j(t)] 估计值的求和。
• 通过模拟和真实数据应用对方法进行了验证，包括莎士比亚的词汇量、Twitter 用户活动以及 DNA 测序数据。

实验结果

研究问题

• RQ1 如何准确估计在将来样本中至少被观测到 r 次的物种类群数量，特别是在大 r 值和长程外推场景下？
• RQ2 能否构建一种非参数估计器，使其在不假设物种丰度特定参数形式的前提下，对不同 r 值保持一致性和稳定性？
• RQ3 何种方式可最优逼近物种发现率的高阶导数，以确保物种数量预测的准确性？
• RQ4 在多样化数据集上，所提出的估计器 Ψ_{r,m}(t) 与现有方法（如 ZTNB 估计器）相比，在准确性和鲁棒性方面表现如何？

主要发现

• 在 DNA 测序数据中，即使对于 r > 1，该估计器 Ψ_{r,m}(t) 在将样本量外推至初始样本的 100 倍时，相对误差仍低于 5%。
• 在相同 DNA 测序数据集中，Ψ_{r,m}(t) 在多个 r 值下均能紧密跟踪真实期望值，而 ZTNB 估计器则对 E[S_1(t)] 过高估计，对 r > 1 则低估。
• 该方法在多种数据集（包括莎士比亚的词汇、狄更斯作品、Twitter 社交网络及基因组测序）中保持高准确性，几乎在所有情况下均优于 ZTNB。
• 估计器表现出有利的渐近行为，确保在大规模应用中具备稳定性和一致性。
• 使用有理函数逼近（RFA）结合 Padé 逼近，可准确建模发现率的高阶导数，这对长程预测至关重要。
• 该方法成功利用了物种频率计数的高阶矩，而无需参数假设，因此在各学科中具有广泛适用性。