[논문 리뷰] Automatically identifying, counting, and describing wild animals in camera-trap images with deep learning

Mohammed Sadegh Norouzzadeh, Anh‐Tu Nguyen외 5명|arXiv (Cornell University)|2017. 03. 16.

Advanced Image and Video Retrieval Techniques참고 문헌 26인용 수 12

한 줄 요약

이 논문은 캠코더 트랩 이미지에서 48종의 야생 동물 종의 자동 식별, 세기 및 행동 기술을 위해 ResNet-152와 전이 학습을 사용하는 딥러닝 시스템을 제안한다. 모델은 종 식별에서 93.8%의 정확도를 달성했으며, 320만 장의 이미지로 구성된 Snapshot Serengeti 데이터셋의 99.3%에 대해 96.6%의 정확도로 자동 레이블링을 수행하여 인간 레이블링 노력의 17,000시간 이상을 절약한다.

ABSTRACT

Having accurate, detailed, and up-to-date information about the location and behavior of animals in the wild would revolutionize our ability to study and conserve ecosystems. We investigate the ability to automatically, accurately, and inexpensively collect such data, which could transform many fields of biology, ecology, and zoology into "big data" sciences. Motion sensor "camera traps" enable collecting wildlife pictures inexpensively, unobtrusively, and frequently. However, extracting information from these pictures remains an expensive, time-consuming, manual task. We demonstrate that such information can be automatically extracted by deep learning, a cutting-edge type of artificial intelligence. We train deep convolutional neural networks to identify, count, and describe the behaviors of 48 species in the 3.2-million-image Snapshot Serengeti dataset. Our deep neural networks automatically identify animals with over 93.8% accuracy, and we expect that number to improve rapidly in years to come. More importantly, if our system classifies only images it is confident about, our system can automate animal identification for 99.3% of the data while still performing at the same 96.6% accuracy as that of crowdsourced teams of human volunteers, saving more than 8.4 years (at 40 hours per week) of human labeling effort (i.e. over 17,000 hours) on this 3.2-million-image dataset. Those efficiency gains immediately highlight the importance of using deep neural networks to automate data extraction from camera-trap images. Our results suggest that this technology could enable the inexpensive, unobtrusive, high-volume, and even real-time collection of a wealth of information about vast numbers of animals in the wild.

연구 동기 및 목표

• 캠코더 트랩 이미지에서 야생 동물의 자동 식별, 세기 및 행동 기술을 수행하기 위해.
• 인간 봉사자나 전문가의 수동 레이블링 시간과 비용을 줄이기 위해.
• 딥러닝 기술이 Snapshot Serengeti와 같은 대규모 야생 생물 모니터링 데이터셋에 스케일링될 수 있음을 보여주기 위해.
• 가중 손실, 오버샘플링 및 강조 샘플링을 활용하여 야생 생물 데이터셋의 클래스 불균형 문제를 해결하기 위해.
• 자동 이미지 분석을 통해 실시간 또는 거의 실시간 생태 모니터링을 가능하게 하기 위해.

제안 방법

• Snapshot Serengeti 데이터셋의 320만 장의 레이블링된 캠코더 트랩 이미지에서 딥 컨volution 신경망(ResNet-152)을 훈련시켰다.
• 야생 동물 종에 대한 일반화 성능 향상을 위해 ImageNet 사전 훈련 가중치를 사용한 전이 학습을 적용했다.
• 단일 이미지 입력에서 종, 수량, 행동을 동시에 예측할 수 있도록 다중 작업 학습 프레임워크를 도입했다.
• 높은 신뢰도 예측만을 필터링하기 위해 신뢰도 임계값을 적용하여 인간 검토 대상 데이터를 전체의 0.7%로 줄였다.
• 데이터 증강 및 클래스 불균형 완화 기법을 구현: 가중 손실, 오버샘플링, 강조 샘플링.
• 모델 신뢰도 점수로 해석할 수 있는 클래스 확률을 생성하기 위해 소프트맥스 출력 레이어를 사용했다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 캠코더 트랩 이미지에서 야생 동물의 식별과 세기에서 인간 수준의 정확도를 달성할 수 있는가?
• RQ2 딥러닝은 대규모 야생 생물 모니터링에서 인간 노동을 얼마나 자동화할 수 있는가?
• RQ3 가중 손실, 오버샘플링, 강조 샘플링 등의 전략이 불균형 데이터셋에서 희귀 동물 종의 성능 향상에 얼마나 효과적인가?
• RQ4 부분적으로 가시성 있는, 어두운 조명 또는 먼 곳에 있는 동물과 같은 도전적인 이미지 조건에서도 모델이 일반화할 수 있는가?
• RQ5 모델 신뢰도 기반 예측 필터링 시 자동화 커버리지와 정확도 사이의 상충 관계는 어떠한가?

주요 결과

• 딥러닝 모델은 Snapshot Serengeti 데이터셋의 48종의 야생 동물 종에 대해 종 식별에서 93.8%의 탑-1 정확도를 달성했다.
• 높은 신뢰도 예측만을 필터링함으로써, 320만 장의 이미지 데이터셋의 99.3%에 대해 자동 레이블링을 수행했으며, 이때 정확도는 96.6%를 유지했다.
• 시스템은 약 17,000시간 이상의 인간 레이블링 노력 절약을 기록했으며, 이는 40시간 일주일 기준 8.4년 이상의 작업에 해당한다.
• 강조 샘플링 방법은 탑-5 정확도를 98.2%로 향상시켜 기준선을 略상회했으며, 희귀 클래스 성능(예: 리어, 조릴라)을 최대 60% 향상시켰다.
• 가중 손실과 오버샘플링은 희귀 클래스 정확도를 향상시켰지만(예: 리어의 경우 근처 0%에서 80%로), 전체 탑-1 정확도는 가중 손실이 가장 우수했다.
• 모델은 거리가 먼, 부분적으로 가시성이 낮거나 어두운 조명 조건의 이미지에서 가장 어려움을 겪었으며, 이벤트 수준의 레이블링에서 노이즈로 인해 일부 이벤트를 잘못 분류했다.