[논문 리뷰] Choosing an Appropriate Platform and Workflow for Processing Camera Trap Data using Artificial Intelligence

Juliana Vélez, Paula J. Castiblanco-Camacho외 4명|arXiv (Cornell University)|2022. 02. 04.

Species Distribution and Climate Change인용 수 4

한 줄 요약

이 논문은 딥러닝을 활용해 카메라 트랩 데이터를 처리하기 위해 Wildlife Insights, MegaDetector, MLWIC2 및 Conservation AI의 네 가지 AI 플랫폼을 평가한다. 종 분류 정확도는 낮은 리콜으로 인해 여전히 낮지만, MegaDetector와 같은 모델은 동물 존재 감지에서 높은 정밀도와 리콜을 달성하여 빈 이미지의 필터링과 수작업을 최소화하는 반자동 워크플로우를 가능하게 하여 생태 모니터링의 수작업 부담을 줄이는 데 기여한다.

ABSTRACT

Camera traps have transformed how ecologists study wildlife species distributions, activity patterns, and interspecific interactions. Although camera traps provide a cost-effective method for monitoring species, the time required for data processing can limit survey efficiency. Thus, the potential of Artificial Intelligence (AI), specifically Deep Learning (DL), to process camera-trap data has gained considerable attention. Using DL for these applications involves training algorithms, such as Convolutional Neural Networks (CNNs), to automatically detect objects and classify species. To overcome technical challenges associated with training CNNs, several research communities have recently developed platforms that incorporate DL in easy-to-use interfaces. We review key characteristics of four AI-powered platforms -- Wildlife Insights (WI), MegaDetector (MD), Machine Learning for Wildlife Image Classification (MLWIC2), and Conservation AI -- including data management tools and AI features. We also provide R code in an open-source GitBook, to demonstrate how users can evaluate model performance, and incorporate AI output in semi-automated workflows. We found that species classifications from WI and MLWIC2 generally had low recall values (animals that were present in the images often were not classified to the correct species). Yet, the precision of WI and MLWIC2 classifications for some species was high (i.e., when classifications were made, they were generally accurate). MD, which classifies images using broader categories (e.g., "blank" or "animal"), also performed well. Thus, we conclude that, although species classifiers were not accurate enough to automate image processing, DL could be used to improve efficiencies by accepting classifications with high confidence values for certain species or by filtering images containing blanks.

연구 동기 및 목표

• 대량의 카메라 트랩 이미지를 처리하는 데 소요되는 높은 수작업 노동의 과제를 해결한다.
• 주요 AI 플랫폼 간의 기술적 및 사용성 차이를 식별한다.
• 사용자 전문성과 데이터 요구사항에 기반해 플랫폼 선택 및 워크플로우 설계에 실용적인 지침을 제공한다.
• 정밀도, 리콜, F1 스코어와 같은 표준 지표를 사용해 모델 성능을 평가하는 방법을 보여준다.
• 반자동 워크플로우에 AI 도구를 통합하여 야생 생물 모니터링의 효율성을 향상시킨다.

제안 방법

• 소프트웨어 요구사항, 데이터 관리, AI 기능을 기반으로 네 가지 AI 플랫폼—Wildlife Insights, MegaDetector, MLWIC2, Conservation AI—를 평가했다.
• 실제 데이터와 R 코드를 사용해 종 및 객체 탐지에 대한 성능 지표인 정밀도, 리콜, F1 스코어를 계산하고 비교했다.
• MegaDetector에서 신뢰도 임계값 조정을 통해 동물 탐지의 정밀도와 리콜을 균형 잡는 데 사용했다.
• 정확한 종 존재 여부가 알려진 1,000장의 카메라 트랩 이미지 데이터셋을 활용해 모델 성능을 평가했다.
• AI 출력물을 인간 검토 프로세스와 통합해 반자동 워크플로우를 구축했다.
• 재현 가능성과 커뮤니티 활용을 지원하기 위해 GitBook을 통해 오픈소스 코드와 가이드라인을 공유했다.

실험 결과

연구 질문

• RQ1 생태학자들이 카메라 트랩 데이터를 처리할 때 사용성, 기술적 요구사항, 성능 간 가장 효과적인 균형을 제공하는 AI 플랫폼은 무엇인가?
• RQ2 Wildlife Insights와 MLWIC2의 종 분류기와 일반 객체 탐지기인 MegaDetector 간에 정밀도, 리콜, F1 스코어는 어떻게 다를까?
• RQ3 AI 모델은 빈 이미지 필터링을 포함해 카메라 트랩 데이터 처리에서 수작업 부담을 얼마나 줄일 수 있는가?
• RQ4 신뢰도 임계값은 이미지 내 동물 존재 감지 성능을 최적화하는 데 어떤 역할을 하는가?
• RQ5 AI 출력물을 반자동 워크플로우에 어떻게 통합할 수 있으며, 데이터 품질을 훼손하지 않으면서 효율성을 어떻게 향상시킬 수 있는가?

주요 결과

• Wildlife Insights와 MLWIC2의 종 분류기는 높은 정밀도(예: >95%)를 보였지만 낮은 리콜(예: <65%)을 보여, 정확한 분류가 이루어졌을 때도 많은 동물이 놓쳐졌음을 의미한다.
• MegaDetector는 0.65의 신뢰도 임계값에서 'Animal' 클래스에 대해 높은 정밀도(98%)와 높은 리콜(93%)을 달성하여 동물 탐지에서 뛰어난 성능을 보였다.
• MegaDetector의 신뢰도 임계값을 0.65에서 0.1로 낮추면 리콜은 97%로 상승하지만 정밀도는 95%로 감소하여, 워크플로우 필요에 따라 조정 가능한 상호 보완적 특성이 드러났다.
• 일부 종에 대해 높은 정밀도를 보였음에도 불구하고 종 분류의 총합 정확도는 전체 자동화에 부적합하여, 놓친 탐지 사례를 포착하기 위해 전문가 검토가 필요했다.
• AI 플랫폼인 MegaDetector는 종 수준의 분류보다는 빈 이미지 필터링에 더 효과적이며, 이는 후속 수작업 분석의 작업 부담을 크게 줄일 수 있다.
• 반자동 워크플로우에 AI 출력물을 인간 검토와 통합함으로써 실용적인 해결책을 제시할 수 있었으며, 특히 LILA BC와 같은 오픈소스 도구와 공유 데이터 레포지터리와 결합할 경우 더욱 효과적이다.