[논문 리뷰] The iNaturalist Species Classification and Detection Dataset

Grant Van Horn, Oisin Mac Aodha외 7명|arXiv (Cornell University)|2017. 07. 20.

Smart Agriculture and AI참고 문헌 39인용 수 16

한 줄 요약

이 논문은 5,000개 이상의 종을 포함해 총 859,000张의 이미지로 구성된 대규모 실세계 기준점인 iNaturalist 종 분류 및 검출 데이터셋을 소개한다. 이 데이터셋은 극심한 클래스 불균형, 미세한 시각적 유사성, 시민 과학자 검증 레이블을 특징으로 하며, 최신 기술 모델을 적용해도 상위 1위 정확도가 67%에 그치는 등 자연주의적 환경에서의 장수익, 미세한 시각 인식의 과제를 드러낸다.

ABSTRACT

Existing image classification datasets used in computer vision tend to have a uniform distribution of images across object categories. In contrast, the natural world is heavily imbalanced, as some species are more abundant and easier to photograph than others. To encourage further progress in challenging real world conditions we present the iNaturalist species classification and detection dataset, consisting of 859,000 images from over 5,000 different species of plants and animals. It features visually similar species, captured in a wide variety of situations, from all over the world. Images were collected with different camera types, have varying image quality, feature a large class imbalance, and have been verified by multiple citizen scientists. We discuss the collection of the dataset and present extensive baseline experiments using state-of-the-art computer vision classification and detection models. Results show that current non-ensemble based methods achieve only 67% top one classification accuracy, illustrating the difficulty of the dataset. Specifically, we observe poor results for classes with small numbers of training examples suggesting more attention is needed in low-shot learning.

연구 동기 및 목표

• 실제 자연계의 다양성 도전 과제를 반영하는 현실적이고 장수익적이며 미세한 시각 인식이 가능한 데이터셋의 부족을 해결하기 위해.
• 자연에서 관찰되는 것처럼 어떤 종은 극도로 부족하게 표현되는 극심한 클래스 불균형을 반영하는 기준점을 제공하기 위해.
• 다수의 카테고리에서 희소한 학습 예제를 제공함으로써 저샷 및 소수샷 학습 연구를 가능하게 하기 위해.
• 자동화된 생물다양성 모니터링을 위한 확장 가능하고 커뮤니티 기반의 데이터셋을 구축함으로써 보존 및 현장 생물학 연구를 지원하기 위해.
• 현재 컴퓨터 비전 모델이 잘 표현된 종에서 희귀 종으로 일반화하는 데 효과적으로 작용하는지 조사하기 위해.

제안 방법

• 데이터셋은 사용자가 지리적 좌표와 시간 스탬프가 부여된 이미지를 제출하고 전문가 다수에 의해 레이블이 검증된 iNaturalist 시민 과학 플랫폼에서 수집되었다.
• 이미지들은 다양한 카메라 유형, 변동하는 이미지 품질, 전 세계적 지리적 분포를 포함하도록 정제되어 실세계의 다양성을 보장한다.
• 데이터셋에는 675,000장의 학습 및 검증 이미지, 183,000장의 테스트 이미지, 그리고 개체 검출을 위한 560,000개 이상의 수작업으로 생성된 경계 상자 포함되어 있다.
• 클래스 레이블은 계통학적 분류를 가능하게 하기 위해 13개의 슈퍼클래스(예: Aves, Insecta, Mammalia)로 그룹화되었다.
• 최신 분류 및 검출 아키텍처인 ResNeXt와 Faster R-CNN를 사용하여 기준 모델을 학습하고 평가하였다.
• 다양한 세분성 수준에서 평가를 수행하기 위해 2,854종, 9개의 슈퍼클래스, 1개의 일반 클래스를 대상으로 하였다. 이는 성능의 이동 가능성 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 실세계 데이터에서 장수익 클래스 분포가 최신 기술 컴퓨터 비전 모델의 성능에 심각하게 악영향을 미치는가?
• RQ2 불균형 데이터로 학습된 모델이 잘 표현된 종에서 희귀 종으로 지식을 효과적으로 전이할 수 있는가?
• RQ3 특히 샘플 수가 적은 경우, 다양한 분류학적 슈퍼클래스 간 성능은 어떻게 달라지는가?
• RQ4 미세한 레이블을 사용해 훈련할 경우, 더 넓은 슈퍼클래스 검출 작업의 성능은 어느 정도 저하되는가?
• RQ5 저품질 이미지와 가림을 고려할 때, 검출 모델이 작고 시각적으로 유사한 종에 대해 높은 정밀도를 달성할 수 있는가?

주요 결과

• 최신 앙상블이 아닌 분류 모델이 2,854개 클래스로 구성된 iNaturalist 데이터셋에서 상위 1위 정확도가 67%에 그치며, 향후 개선 여지가 크다는 것을 시사한다.
• 희귀 클래스에서 성능 저하가 심각하게 나타나며, Insecta와 Reptilia는 각각 49.4%와 21.3%의 AP를 기록하여 저샷 학습의 과제를 확인한다.
• 검출 성능은 Arachnida(AP 43.9)와 Mollusca(AP 34.8)에서 가장 높았고, Reptilia에서 가장 낮았으며(AP 21.3), 이는 클래스 불균형과 시각적 유사성의 영향을 반영한다.
• 미세한 레이블을 사용해 훈련할 경우 더 넓은 슈퍼클래스 검출 성능이 저하되며, 1개의 일반 클래스 검출에서 78.5%의 AP를 기록함으로써 세분성과 일반화 사이의 상충 관계를 시사한다.
• 작은 객체와 종 간 높은 시각적 유사성은 정확한 국소화가 이루어져도 주요 실패 원인이 되며, 실패 사례 분석을 통해 이를 확인할 수 있다.
• 이 데이터셋의 장수익 분포와 실세계의 다양성은 컴퓨터 비전에서 저샷 및 소수샷 학습을 발전시키기 위한 강력한 플랫폼을 제공한다.