[논문 리뷰] Animal Wildlife Population Estimation Using Social Media Images Collections

Matteo Foglio, Lorenzo Semeria외 3명|arXiv (Cornell University)|2019. 08. 05.

Species Distribution and Climate Change인용 수 4

한 줄 요약

이 논문은 사회적 미디어 이미지 컬렉션을 활용하여 야생 동물 개체수를 추정하는 새로운 프레임워크를 제안한다. 사용자 공유 편향을 고려하기 위해 이미지 컬렉션 구조와 공유 가능성 모델링을 수행한다. 그레비의 제라를 사례로 삼아, XGBoost를 사용해 공유된 이미지에서 공유되지 않은 개체수를 예측하며, R²는 0.417을 기록하고 공식 수치와 유사한 개체수 추정치를 도출하여, 사회적 미디어 편향이 학습 가능하고 보정 가능하다는 것을 입증한다. 이는 보존 모니터링에 유용하다.

ABSTRACT

We are losing biodiversity at an unprecedented scale and in many cases, we do not even know the basic data for the species. Traditional methods for wildlife monitoring are inadequate. Development of new computer vision tools enables the use of images as the source of information about wildlife. Social media is the rich source of wildlife images, which come with a huge bias, thus thwarting traditional population size estimate approaches. Here, we present a new framework to take into account the social media bias when using this data source to provide wildlife population size estimates. We show that, surprisingly, this is a learnable and potentially solvable problem.

연구 동기 및 목표

• 기존 모니터링 방법의 한계로 인해 발생하는 신뢰할 수 있는 야생 동물 개체수 데이터의 부족을 해결하기 위해.
• 야생 동물 이미지 컬렉션 내 사회적 미디어 공유 편향을 보정하는 방법을 개발하여, 개체수 추정을 왜곡하는 요소를 제거하기 위해.
• 사진 촬영자가 촬영한 원본 이미지 컬렉션 내 애완 동물 수와 이미지가 공유될 가능성을 모두 모델링하기 위해.
• 이미지 공유 가능성과 컬렉션 구조가 개체수 추정 향상에 유의미한 신호로 학습 가능하다는 것을 입증하기 위해.
• 공개된 사회적 미디어 데이터를 활용해 확장 가능하고 종에 관계없이 적용 가능한 개체수 추정 프레임워크를 제공하기 위해.

제안 방법

• 프레임워크는 개체수 추정 문제를 공유된 이미지와 컬렉션 구조의 특징을 사용해 촬영자가 원래 SD 카드에 촬영한 전체 애완 동물 수를 예측하는 회귀 문제로 간주한다.
• 이미지 공유 가능성은 이진 분류 문제로 모델링되며, 개체 개별성, 이미지 미적 가치, 컬렉션 맥락 등의 특징을 사용해 사진이 공유될지를 예측한다.
• 2016년과 2018년의 그레비의 제라 이미지 세트에 대해 설문 조사를 실시해 공유 가능성 레이블을 부여하여 모델 훈련을 위한 기준 데이터를 확보했다.
• 모델은 XGBoost를 사용해 회귀 및 분류 작업을 수행하며, 교차 검증을 통해 R², MSE, F1 점수, 정확도 등 성능을 평가한다.
• 최종 개체수 추정치는 Jolly-Seber 포획-표지-재포획 방법을 사용하며, 미검출 재포획을 보정하기 위해 평균 공유 계수를 조정한다.
• 예측된 공유 가능성에 기반해 각 사용자별 보정 요소 $ k_i $ 를 계산하고, 공유된 개체 수를 조정하여 촬영된 전체 개체 수를 추정한다.

실험 결과

연구 질문

• RQ1 매우 높은 수준의 사용자 공유 편향이 존재하는 바에도 불구하고, 사회적 미디어 이미지 컬렉션을 신뢰할 만하게 야생 동물 개체수 추정에 활용할 수 있는가?
• RQ2 이미지 컬렉션의 구조(예: 동물 수, 다양성 등)가 이미지 공유 가능성에 어느 정도 영향을 미치는가?
• RQ3 기계학습 모델이 공유된 부분 집합만을 기반으로 촬영자가 원래 촬영한 이미지 세트 내 동물 수를 정확하게 예측할 수 있는가?
• RQ4 이미지 특징과 컬렉션 수준의 특징을 조합해 사용자 공유 행동을 모델링하는 데 얼마나 효과적인가?
• RQ5 학습 가능한 편향 보정 기법이 공유된 이미지 수를 단순 세는 것보다 개체수 추정을 더 잘 향상시키는가?

주요 결과

• XGBoost는 회귀 작업에서 R² 0.417 (±0.155)와 MSE 0.070 (±0.020)을 기록했으며, 음수 R²를 기록한 기준 모델보다 유의미하게 뛰어난 성능을 보였다.
• 공유 가능성 분류 작업에서 XGBoost는 통합 데이터셋에서 82% 정확도와 0.62 F1 점수를 기록했고, 더 규칙적인 GGR1 데이터셋에서는 92% 정확도와 0.77 F1 점수를 기록했다.
• 프레임워크는 2016년 기준 그레비의 제라 개체수를 2,341마리로 추정했으며, 공식 수치인 2,250마리와 유사했고, 평균 제곱근 오차(RMSE)는 1,194였다.
• 모델 성능은 GGR1(더 규칙적인 데이터)에서 통합 데이터셋보다 높게 나타나, 데이터 구조가 학습 가능성에 영향을 준다는 점을 시사했다.
• 이 연구는 사회적 미디어에서의 야생 동물 이미지 공유 편향이 컬렉션 수준의 특징과 기계학습을 통해 학습 가능하고 보정 가능하다는 것을 입증했다.
• Jolly-Seber 방법과 보정 계수를 사용한 최종 개체수 추정치는 타당한 결과를 도출했으며, 이는 프레임워크가 보존 응용 분야에서의 잠재력을 검증한 것이다.