[논문 리뷰] A Double Machine Learning Trend Model for Citizen Science Data

Daniel Fink, Alison Johnston외 9명|arXiv (Cornell University)|2022. 10. 27.

Species Distribution and Climate Change참고 문헌 58인용 수 6

한 줄 요약

이 논문은 시민 과학 데이터에서 인위적 표본 추출 방법의 일관성 부족으로 인한 연간 간 혼란 요인을 해결하기 위해 종 개체수 추세를 추정하기 위한 더블 머신러닝 트렌드 모델을 제안한다. 기계학습을 활용해 성향 스코어를 추정하고 잔류 혼란 요인을 보정하기 위한 시뮬레이션 기반 방법을 적용함으로써, eBird 데이터를 사용해 27km 해상도에서 정확하고 공간적으로 명시적인 추세 추정을 수행한다. 이는 변화의 방향성과 크기 측면에서 높은 정확도를 보인다.

ABSTRACT

1. Citizen and community-science (CS) datasets have great potential for estimating interannual patterns of population change given the large volumes of data collected globally every year. Yet, the flexible protocols that enable many CS projects to collect large volumes of data typically lack the structure necessary to keep consistent sampling across years. This leads to interannual confounding, as changes to the observation process over time are confounded with changes in species population sizes. 2. Here we describe a novel modeling approach designed to estimate species population trends while controlling for the interannual confounding common in citizen science data. The approach is based on Double Machine Learning, a statistical framework that uses machine learning methods to estimate population change and the propensity scores used to adjust for confounding discovered in the data. Additionally, we develop a simulation method to identify and adjust for residual confounding missed by the propensity scores. Using this new method, we can produce spatially detailed trend estimates from citizen science data. 3. To illustrate the approach, we estimated species trends using data from the CS project eBird. We used a simulation study to assess the ability of the method to estimate spatially varying trends in the face of real-world confounding. Results showed that the trend estimates distinguished between spatially constant and spatially varying trends at a 27km resolution. There were low error rates on the estimated direction of population change (increasing/decreasing) and high correlations on the estimated magnitude. 4. The ability to estimate spatially explicit trends while accounting for confounding in citizen science data has the potential to fill important information gaps, helping to estimate population trends for species, regions, or seasons without rigorous monitoring data.

연구 동기 및 목표

• 다양한 연도 간 표본 추출 방법의 일관성 부족으로 인한 시민 과학 데이터의 연간 간 혼란 요인을 해결하기 위해.
• 관측된 및 관측되지 않은 혼란 요인을 조정하면서 종 개체수 추세를 추정하는 강력한 통계 모델을 개발하기 위해.
• 엄격한 장기 모니터링 데이터가 부족한 지역이나 종에 대해 공간적으로 세밀한 추세 추정을 가능하게 하기 위해.
• 실제 혼란 요인 조건 하에서 공간적으로 일정한 추세와 공간적으로 변하는 추세를 구분하는 데 모델의 성능을 검증하기 위해.

제안 방법

• 이 방법은 기계학습 모델에서 유도된 추정된 성향 스코어를 통해 혼란 요인을 조정하면서 종 개체수 추세를 추정하기 위해 더블 머신러닝을 활용한다.
• 이중 단계 기계학습 프레임워크를 사용한다: 첫 번째 단계에서는 각 관측치의 포함 확률을 모델링하기 위해 성향 스코어를 추정하고, 두 번째 단계에서는 이러한 스코어 조건 하에서 결과(예: 종의 발견 여부)를 추정한다.
• 잔류 혼란 요인을 탐지하고 보정하기 위한 시뮬레이션 기반 접근법을 도입하여, 성향 스코어로 포착되지 않은 잔류 혼란 요인에 대한 저항성을 향상시킨다.
• 모델은 eBird 데이터에 적용되어 지리적 지역 전역에서 27km 해상도로 공간적으로 명시적인 추세 추정을 가능하게 한다.
• 현대 기계학습 기법과 인과 추론 원리를 통합하여, 시민 과학에서 흔히 발생하는 고차원적이고 비랜덤 표본 추출 패턴을 다룰 수 있도록 한다.

실험 결과

연구 질문

• RQ1 일관되지 않은 표본 추출으로 인한 연간 간 혼란 요인 존재 하에서 더블 머신러닝 접근법이 종 개체수 추세를 정확하게 추정할 수 있는가?
• RQ2 실제 조건 하에서 이 방법은 공간적으로 일정한 추세와 공간적으로 변하는 추세를 얼마나 잘 구분할 수 있는가?
• RQ3 시뮬레이션 기반 잔류 혼란 요인 보정 방법은 표준 더블 머신러닝 대비 추세 추정 정확도를 얼마나 향상시키는가?
• RQ4 이 모델은 다양한 지리적 지역에서 개체수 변화의 방향성과 크기를 추정하는 데 얼마나 잘 성능을 발휘하는가?

주요 결과

• 모델은 시뮬레이션 연구에서 27km 공간 해상도에서 공간적으로 일정한 추세와 공간적으로 변하는 추세를 성공적으로 구분하였다.
• 개체수 변화 방향(증가 또는 감소)을 추정하는 데 있어 오차율이 낮아 추세 방향 탐지의 높은 신뢰성을 보였다.
• 추정된 추세 크기와 진짜 추세 크기 간 상관계수가 높아 개체수 변화 속도를 정량적으로 정확히 추정함을 입증하였다.
• 시뮬레이션 기반 잔류 혼란 요인 보정이 모델 성능을 효과적으로 향상시켜 관측되지 않은 혼란 요인으로 인한 편향을 감소시켰다.