[논문 리뷰] Estimating the number of species to attain sufficient representation in a random sample

Chao Deng, Timothy Daley외 3명|arXiv (Cornell University)|2016. 07. 11.

Census and Population Estimation참고 문헌 13인용 수 6

한 줄 요약

이 논문은 초기 샘플 빈도를 바탕으로 향후 크기가 t인 샘플에서 최소 r번 나타나는 종의 기대 수를 예측하기 위한 비모수적 추정기 Ψ_{r,m}(t)를 제안한다. 종 발견률의 r번째 도함수에 대한 유리함수 근사법을 사용함으로써, 큰 r과 고차원 데이터셋에 대해 정확하고 안정적인 장거리 외삽이 가능해지며, 유전체학 및 사회망과 같은 실제 응용 사례와 시뮬레이션에서 기존 방법들을 능가한다.

ABSTRACT

The statistical problem of using an initial sample to estimate the number of species in a larger sample has found important applications in fields far removed from ecology. Here we address the general problem of estimating the number of species that will be represented by at least a number r of observations in a future sample. The number r indicates species with sufficient observations, which are commonly used as a necessary condition for any robust statistical inference. We derive a procedure to construct consistent estimators that apply universally for a given population: once constructed, they can be evaluated as a simple function of r. Our approach is based on a relation between the number of species represented at least r times and the higher derivatives of the expected number of species discovered per unit of time. Combining this relation with a rational function approximation, we propose nonparametric estimators that are accurate for both large values of r and long-range extrapolations. We further show that our estimators retain asymptotic behaviors that are essential for applications on large-scale datasets. We evaluate the performance of this approach by both simulation and real data applications for inferences of the vocabulary of Shakespeare and Dickens, the topology of a Twitter social network, and molecular diversity in DNA sequencing data.

연구 동기 및 목표

• 향후 샘플에서 최소 r회 관측되는 종의 수를 추정하는 통계적 과제를 해결하기 위해, r > 1일 경우 정밀 추론을 위한 충분한 표현을 의미한다.
• 특정 종 빈도 분포의 모수적 가정 없이도 다양한 r 값에 대해 적용 가능한 보편적인 비모수적 추정기를 개발하기 위해.
• 특히 DNA 시퀀싱 및 소셜 미디어 데이터와 같은 대규모 데이터셋에서 r=1을 초월한 종 축적 곡선의 장거리 외삽 정확도를 향상시키기 위해.
• 높은 순서의 종 빈도 수의 모멘트를 활용하여 추정의 신뢰성을 향상시키는 안정적이고 이론적으로 타당한 방법을 제공하기 위해.

제안 방법

• 이 방법은 이론적으로 r종 축적 곡선 E[S_r(t)]와 평균 발견률 E[S_1(t)]/t의 (r−1)번째 도함수 사이의 관계를 유도한다.
• 종 빈도 분포를 잠재 강도 분포 G(λ)를 가진 포아송 과정의 혼합으로 모델링함으로써 G(λ)의 직접 추정을 피한다.
• 안정적이고 정확한 추정을 가능하게 하기 위해, 형태 P_{m-1}(t)/Q_m(t)의 유리함수 근사(RFA)를 발견률 도함수의 근사에 사용한다.
• 추정기 Ψ_{r,m}(t)는 초기 샘플의 빈도 수 N_j에 대한 함수로서, 패드 근사에 의해 고차수 모멘트를 활용하여 구성된다.
• 개별 E[N_j(t)] 추정치의 합산을 피하기 위해, 도함수 기반 관계를 직접 모델링함으로써 E[S_r(t)]를 추정한다.
• 이 방법은 시뮬레이션과 실제 데이터 응용(셰익스피어의 어휘, 트위터 사용자 활동, DNA 시퀀싱 데이터 포함)을 통해 검증되었다.

실험 결과

연구 질문

• RQ1 큰 r과 장거리 외삽에 대해 특히, 향후 샘플에서 최소 r번 나타나는 종의 수를 정확하게 추정할 수 있는 방법은 무엇인가?
• RQ2 특정 모수적 형태의 종 빈도 분포를 가정하지 않고도 다양한 r 값에 대해 일관되고 안정적인 비모수적 추정기를 구성할 수 있는가?
• RQ3 종 발견률의 고차수 도함수를 정확하게 근사하는 최적의 방법은 무엇인가, 종 수 예측의 정확도를 보장하기 위해?
• RQ4 제안된 추정기 Ψ_{r,m}(t)는 DNA 시퀀싱 및 소셜 미디어 데이터를 포함한 다양한 데이터셋에서 기존 방법(예: ZTNB 추정기)과 비교해 정확도와 강인성 면에서 어떻게 성능을 발휘하는가?

주요 결과

• 동일한 DNA 시퀀싱 데이터셋에서, Ψ_{r,m}(t)는 초기 샘플 크기의 100배까지 외삽할 때 조차도 상대 오차가 5% 미만을 유지한다. 이는 r > 1일 경우에도 해당된다.
• 동일한 DNA 시퀀싱 데이터셋에서, Ψ_{r,m}(t)는 여러 r 값에 대해 진짜 기대값을 잘 따라가지만, ZTNB 추정기는 E[S_1(t)]를 과소추정하고 r > 1일 경우 과대추정한다.
• 셰익스피어의 어휘, 디킨스의 작품, 트위터 사회망, 유전체 시퀀싱 데이터를 포함한 다양한 데이터셋에서 높은 정확도를 유지하며, 거의 모든 경우에서 ZTNB를 능가한다.
• 추정기는 대규모 응용에서 안정성과 일관성을 보장하는 유리한 渐近적 행동을 보이며.
• 패드 근사를 사용한 유리함수 근사(RFA)는 장거리 예측에 필수적인 발견률의 고차수 도함수를 정확하게 모델링할 수 있다.
• 이 방법은 모수적 가정 없이도 종 빈도 수의 고차수 모멘트를 효과적으로 활용하여 다양한 분야에 널리 적용 가능한 특성을 보인다.