[논문 리뷰] The iWildCam 2019 Challenge Dataset

Sara Beery, Dan Morris외 1명|arXiv (Cornell University)|2019. 07. 15.

Advanced Image and Video Retrieval Techniques참고 문헌 18인용 수 12

한 줄 요약

iWildCam 2019 챌린지 데이터셋은 미국 남서부(캘테크 카메라 트랩)의 카메라 트랩 데이터를 기반으로 훈련하고, 미국 북서부(아이디aho, IDFG)의 새로운 미사용 데이터셋을 테스트하여 야생 동물 이미지 분류에서 제로샷 및 패기샷 일반화 성능을 평가하기 위한 벤치마크를 제공한다. 추가로 iNaturalist 및 합성된 TrapCam-AirSim 데이터를 활용한다. 단순 기준 모델이 매크로-F1 점수 0.125를 기록하여, 실제 야생 동물 모니터링에서 지역 간 일반화의 도전 과제가 크다는 점을 시사한다.

ABSTRACT

Camera Traps (or Wild Cams) enable the automatic collection of large quantities of image data. Biologists all over the world use camera traps to monitor biodiversity and population density of animal species. The computer vision community has been making strides towards automating the species classification challenge in camera traps, but as we try to expand the scope of these models from specific regions where we have collected training data to different areas we are faced with an interesting problem: how do you classify a species in a new region that you may not have seen in previous training data? In order to tackle this problem, we have prepared a dataset and challenge where the training data and test data are from different regions, namely The American Southwest and the American Northwest. We use the Caltech Camera Traps dataset, collected from the American Southwest, as training data. We add a new dataset from the American Northwest, curated from data provided by the Idaho Department of Fish and Game (IDFG), as our test dataset. The test data has some class overlap with the training data, some species are found in both datasets, but there are both species seen during training that are not seen during test and vice versa. To help fill the gaps in the training species, we allow competitors to utilize transfer learning from two alternate domains: human-curated images from iNaturalist and synthetic images from Microsoft's TrapCam-AirSim simulation environment.

연구 동기 및 목표

• 훈련 데이터에 존재하지 않는 새로운 지리적 지역과 새로운 종을 포함한 환경에서 기계 학습 모델의 일반화 능력을 평가하기 위해.
• 야생 동물 카메라 트랩 이미지 분류에서 제로샷 및 패기샷 일반화를 테스트하는 벤치마크를 구축하기 위해.
• 실제 배포 과제를 모의하기 위해 부분적인 클래스 오버랩과 장테일 분포를 포함한 ID(아이디aho)의 테스트 세트를 제공하기 위해.
• 보조 도메인에서의 전이 학습을 가능하게 하여 일반화 성능을 향상시키기 위해 — iNaturalist(실제 시민 과학 이미지) 및 TrapCam-AirSim(합성 시뮬레이션)을 활용하기 위해.
• 글로벌 생물다양성 모니터링을 위한 확장 가능하고 실시간 종 식별 시스템의 개발을 촉진하기 위해.

제안 방법

• 훈련 데이터는 미국 남서부의 143개 지점에서 확보한 292,732장의 이미지로 구성된 캘테크 카메라 트랩(CCT) 데이터셋에서 유래하였으며, 14개의 동물 클래스 또는 '공백'으로 레이블이 지정되었다.
• 테스트 세트는 아이디aho 어류 및 야생자원국(IDFG)으로부터 확보되었으며, 아이디aho의 100개 지점에서 확보한 153,730장의 이미지로 구성되어 있으며, 8개의 클래스(마운틴 라이온, 무스, 늑대, 블랙베어, 프롱혼, 엘크, 딸기, 공백)를 포함하고 있으며, 훈련 클래스와 일부 겹침이 있다.
• 참가자는 iNaturalist(2017 및 2018년 데이터셋)와 마이크로소프트의 TrapCam-AirSim 합성 데이터 생성기에서 전이 학습을 활용할 수 있으며, 이는 다양한 자연 환경의 식생과 동물을 시뮬레이션한다.
• 기준 모델은 Inception-ResNet-V2를 사용하여 훈련되며, 데이터 증강(임의의 자르기, 뒤집기, 색상 왜곡)을 적용한 후 CCT 및 iNat-Idaho 데이터에 대해 미세조정되며, 학습률 0.0045로 RMSProp을 사용한다.
• 동물 감지 모델(Faster R-CNN, Inception-ResNet-V2 기반)이 제공되며, 각 이미지에 대해 상위 100개의 바운딩 박스와 신뢰도 점수가 제공된다.
• 챌린지는 매크로 평균 F1 점수를 주요 평가 지표로 사용하여 희귀 클래스 성능을 강조하고 정밀도보다 재현율을 장려한다.

실험 결과

연구 질문

• RQ1 미국 남서부에서 훈련된 모델이 일부 종이 겹치는 미국 북서부 지역으로의 일반화 능력은 어떠한가?
• RQ2 iNaturalist 및 합성된 TrapCam-AirSim 데이터에서의 전이 학습이 야생 동물 이미지 분류에서 제로샷 및 패기샷 일반화 성능을 얼마나 향상시킬 수 있는가?
• RQ3 장테일 클래스 분포와 이미지 품질 문제(예: 흐림, 가림, 낮은 조명)가 실세계 배포 환경에서 모델 성능에 어떤 영향을 미치는가?
• RQ4 실제 카메라 트랩 데이터에서 훈련된 모델이 훈련 세트에 존재하지 않는 새로운 종에 대해 충분한 성능을 달성할 수 있는가?
• RQ5 지역별 데이터로 훈련된 모델과 외부 도메인 데이터를 활용한 모델 간의 성능 격차는 어느 정도인가?

주요 결과

• 기준 모델은 표준 데이터 증강 및 미세조정을 통해 캘테크 카메라 트랩과 iNaturalist-Idaho 데이터에 훈련된 후, IDFG 테스트 세트에서 매크로 평균 F1 점수 0.125를 기록하였다.
• 테스트 세트는 아이디aho의 100개 지점에서 확보한 153,730장의 이미지로 구성되어 있으며, 8개의 클래스(마운틴 라이온, 무스, 늑대, 블랙베어, 프롱혼, 엘크, 딸기, 공백)를 포함하고 있으며, 훈련 세트의 14개 클래스와 일부 겹침이 있다.
• 훈련 데이터는 지점과 종 간에 균형이 깨져 있으며, 장테일 분포를 보이며, 다양한 이미지 품질과 레이블링 스타일로 인해 최대 5%의 레이블 오류가 존재한다.
• iNaturalist 데이터는 챌린지의 클래스 분류 체계에 매핑되었으며, 아이디aho에 존재할 가능성이 있는 종만 포함하는 정제된 'iNat-Idaho' 서브셋이 생성되었다.
• TrapCam-AirSim 합성 데이터셋은 다양한 동물 종, 배경, 환경 조건을 가진 현실적인 카메라 트랩 유사 이미지를 생성하는 데 사용되었다.
• 챌린지 결과는 현재 최고 수준의 모델들이 새로운 종이 훈련 중에 등장하지 않은 경우에 특히 심각한 지역 간 일반화 문제를 겪고 있음을 입증한다.