[논문 리뷰] On pseudo-absence generation and machine learning for locust breeding ground prediction in Africa

Ibrahim Salihu Yusuf, Kale-ab Tessera외 5명|arXiv (Cornell University)|2021. 11. 06.

Species Distribution and Climate Change인용 수 6

한 줄 요약

이 연구는 아프리카 사막 메뚜기 번식지 예측을 위한 기계학습 모델에서 허위 부재 생성 방법—무작위 샘플링, 환경 프로파일링, 배경 영역 제한—을 평가한다. 무작위 샘플링을 사용한 로지스틱 회귀 모델이 복잡한 앙상블 모델과 고급 허위 부재 기법보다 뛰어난 성능을 보이며, 레이블이 제한된 데이터 상황에서도 조기 경고 시스템에 대해 강건하고 효율적인 솔루션을 제공한다.

ABSTRACT

Desert locust outbreaks threaten the food security of a large part of Africa and have affected the livelihoods of millions of people over the years. Machine learning (ML) has been demonstrated as an effective approach to locust distribution modelling which could assist in early warning. ML requires a significant amount of labelled data to train. Most publicly available labelled data on locusts are presence-only data, where only the sightings of locusts being present at a location are recorded. Therefore, prior work using ML have resorted to pseudo-absence generation methods as a way to circumvent this issue. The most commonly used approach is to randomly sample points in a region of interest while ensuring that these sampled pseudo-absence points are at least a specific distance away from true presence points. In this paper, we compare this random sampling approach to more advanced pseudo-absence generation methods, such as environmental profiling and optimal background extent limitation, specifically for predicting desert locust breeding grounds in Africa. Interestingly, we find that for the algorithms we tested, namely logistic regression, gradient boosting, random forests and maximum entropy, all popular in prior work, the logistic model performed significantly better than the more sophisticated ensemble methods, both in terms of prediction accuracy and F1 score. Although background extent limitation combined with random sampling boosted performance for ensemble methods, for LR this was not the case, and instead, a significant improvement was obtained when using environmental profiling. In light of this, we conclude that a simpler ML approach such as logistic regression combined with more advanced pseudo-absence generation, specifically environmental profiling, can be a sensible and effective approach to predicting locust breeding grounds across Africa.

연구 동기 및 목표

• 아프리카 사막 메뚜기 번식지 예측에 있어 다양한 허위 부재 생성 기법이 기계학습 성능에 미치는 영향을 평가하기 위해.
• 표준 무작위 샘플링과 비교하여 환경 프로파일링 및 배경 영역 제한과 같은 고급 기법의 효과성을 평가하기 위해.
• 이 상황에서 XGBoost, 랜덤 포레스트와 같은 복잡한 앙상블 모델이 로지스틱 회귀와 같은 단순 선형 모델보다 뛰어나지 않는지 확인하기 위해.
• 조기 메뚜기 폭발 경고를 위한 허위 부재 생성 및 기계학습 알고리즘 조합 중 가장 효과적인 조합을 특정하기 위해.
• 데이터 부족 상황에서 단순하고 해석 가능한 모델이 복잡한 모델보다 실용적인 유효성을 가지는지 검증하기 위해.

제안 방법

• 연구는 FAO의 Locust Hub에서 확보한 존재 데이터와 환경 변수를 특성으로 사용하여 모델 훈련을 수행한다.
• 네 가지 허위 부재 생성 방법을 적용한다: 무작위 샘플링(RS), 환경 프로파일링을 적용한 무작위 샘플링(RSEP), 배경 영역 제한을 적용한 무작위 샘플링(RS+), 환경 프로파일링과 영역 제한을 모두 적용한 무작위 샘플링(RSEP+).
• 네 가지 기계학습 모델을 훈련한다: 로지스틱 회귀(LR), XGBoost, 랜덤 포레스트(RF), MaxEnt(허위 부재가 필요 없는 존재-배경 모델).
• 성능 평가에 100중 교차검증을 사용하며, 정확도와 F1 스코어 등의 지표를 사용한다.
• 로지스틱 회귀 모델의 특성 중요도를 해석하기 위해 SHAP(샤플리 추가 설명) 분석을 사용한다.
• 성능 차이의 통계적 유의성을 평가하기 위해 프리드먼 정렬 순위 검정과 홀름 보정을 적용한 대air 비교를 수행한다.

실험 결과

연구 질문

• RQ1 배경 영역 제한이 앙상블 기계학습 모델의 메뚜기 번식지 예측 성능을 향상시키는가?
• RQ2 다양한 허위 부재 생성 방법 간에 메뚜기 번식지 모델링의 예측 정확도와 F1 스코어에서 어떤 차이가 있는가?
• RQ3 로지스틱 회귀가 이 생태학적 예측 과제에서 XGBoost와 랜덤 포레스트와 같은 더 복잡한 앙상블 모델보다 일관되게 뛰어나지 않는가?
• RQ4 이 상황에서 선형 모델과 앙상블 모델 간의 특성 중요도 패턴은 어느 정도 다를까?
• RQ5 고급 허위 부재 기법을 사용할 경우 표준 무작위 샘플링과 비교해 성능에 통계적으로 유의미한 차이가 있는가?

주요 결과

• 로지스틱 회귀는 모든 허위 부재 생성 기법에서 평균 정확도(0.8541 ± 0.0020)와 F1 스코어(0.9098 ± 0.0011)가 가장 높았으며, XGBoost, 랜덤 포레스트, MaxEnt보다 유의미하게 뛰어나다(p < 2×10⁻¹⁶).
• 로지스틱 회귀의 경우, 네 가지 허위 부재 생성 방법 간에 통계적으로 유의미한 차이가 없었으며, 방법 선택에 대해 강건함을 보였다.
• XGBoost와 랜덤 포레스트의 경우, 배경 영역 제한을 적용한 무작위 샘플링(RS+)이 성능을 유의미하게 향상시켰으며, F1 스코어는 각각 0.8448 ± 0.0012와 0.8660 ± 0.0121로 상승했다.
• SHAP 분석을 통해 로지스틱 회귀 예측에 크게 기여하는 특성은 소수에 불과했으며(예: Albedo_inst_bucket_14, clay_0.5cm_mean), 노이즈가 많은 특성에 대한 과적합이 감소함을 시사했다.
• 프리드먼 검정은 성능 차이가 없는 귀무가설을 기각했으며(p < 2×10⁻¹⁶), 이는 모델 및 방법 선택이 결과에 유의미하게 영향을 미친다는 것을 확인했다.
• 고급 허위 부재 기법을 사용함에도 불구하고, 로지스틱 회귀 성능 향상이 유의미하지 않았으며, 이는 단순한 무작위 샘플링과 선형 모델의 조합을 사용하는 것이 바람직하다는 것을 뒷받침한다.