[논문 리뷰] Deep Learning Pipeline for Automated Visual Moth Monitoring: Insect Localization and Species Classification

Dimitri Korsch, Paul Bodesheim외 1명|arXiv (Cornell University)|2021. 01. 01.

Species Distribution and Climate Change인용 수 10

한 줄 요약

이 논문은 모기 스캐너를 사용하여 200종의 중유럽 나방 종을 자동으로 시각적으로 모니터링하기 위한 딥러닝 파이프라인을 제시한다. 나방의 국소화를 위해 단일 스크린 다중박스 검출기(SSD)를 사용하고, 종 분류를 위해 미세조정된 컨volutional 신경망(CNN)과 비지도 부분 추정을 조합하여 전체 분류 정확도를 79.62%에서 88.05%로 향상시켰다. 이는 자르지 않은 스캐너 이미지에서의 결과이다.

ABSTRACT

Biodiversity monitoring is crucial for tracking and counteracting adverse trends in population fluctuations. However, automatic recognition systems are rarely applied so far, and experts evaluate the generated data masses manually. Especially the support of deep learning methods for visual monitoring is not yet established in biodiversity research, compared to other areas like advertising or entertainment. In this paper, we present a deep learning pipeline for analyzing images captured by a moth scanner, an automated visual monitoring system of moth species developed within the AMMOD project. We first localize individuals with a moth detector and afterward determine the species of detected insects with a classifier. Our detector achieves up to 99.01% mean average precision and our classifier distinguishes 200 moth species with an accuracy of 93.13% on image cutouts depicting single insects. Combining both in our pipeline improves the accuracy for species identification in images of the moth scanner from 79.62% to 88.05%.

연구 동기 및 목표

• 생물다양성 연구에서 수작업 기반의 나방 모니터링이 과도하게 번거로운 문제를 해결하기 위해.
• 전문가의 노고에 의존하지 않고, 딥러닝을 활용한 자동화된 시각적 나방 모니터링 파이프라인을 개발하기 위해.
• 여러 마리의 나방과 작은 객체 크기가 일반적인 실세계 이미지에서 종 분류 정확도를 향상시키기 위해.
• 다양한 훈련 전략, 사전 훈련 데이터셋, 그리고 부분 기반 모델링이 분류 성능에 미치는 영향을 평가하기 위해.
• 실제 생태 모니터링 시스템에 구현 가능한, 검출과 분류를 조합한 이중 단계 파이프라인의 효과성을 입증하기 위해.

제안 방법

• AMMOD 나방 스캐너로 촬영한 나방 이미지로 구성된 고유한 데이터셋을 기반으로, 객체 국소화를 위해 단일 스크린 다중박스 검출기(SSD)를 훈련시켰다.
• 검출 성능 평가를 위해 IoU 임계치가 0.5와 0.75인 평균 정밀도(mAP)를 사용하였다.
• 단일 나방의 자르기된 이미지에서 종 분류를 위해 컨volutional 신경망(CNN)을 훈련시켰으며, ImageNet과 iNaturalist 사전 훈련 모델을 활용한 전이 학습을 적용하였다.
• 특징 추출기의 고정 또는 전체 네트워크의 미세조정 전략을 구현하였다.
• 분류기 내부에 비지도 부분 추정기를 통합하여 특징 표현과 일반화 능력을 향상시켰다.
• 훈련된 검출기와 분류기를 결합하여 파이프라인을 구성하였으며, 자르지 않은 스캐너 이미지에서 먼저 나방을 국소화한 후 각 검출된 나방을 분류하는 방식을 적용하였다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 객체 검출기가 실세계의 혼잡한 스캐너 이미지에서 나방 국소화에 대해 높은 mAP 성능을 달성할 수 있는가?
• RQ2 사전 훈련 데이터셋의 선택(이미지넷 대비 iNaturalist)이 단일 나방 이미지에서 종 분류 정확도에 어떤 영향을 미치는가?
• RQ3 전체 CNN을 미세조정하는 것과 마지막 완전 연결층만을 미세조정하는 것의 성능 향상 정도는 어느 정도인가?
• RQ4 비지도 부분 추정을 통합함으로써, 특히 도전적이고 희귀한 종의 분류 정확도가 향상되는가?
• RQ5 자르지 않은 다수의 나방 이미지에서 직접 분류를 수행하는 것과 비교해, 사전 검출 단계를 통한 분류 정확도 향상은 어느 정도인가?

주요 결과

• SSD 기반의 나방 검출기는 테스트 세트에서 mAP@0.5가 99.01%이고, mAP@0.75가 88.88%를 기록하였다.
• iNaturalist에서 사전 훈련하고 전체 네트워크를 미세조정한 CNN 분류기는 비지도 부분 추정을 통합했을 때 93.13%의 정확도를 달성하였다.
• 마지막 레이어만을 미세조정하는 것보다 전체 CNN을 미세조정함으로써 분류 정확도가 26% 향상되었다.
• ImageNet 대신 iNaturalist에서 사전 훈련하면 전체 네트워크를 미세조정할 경우 약 4%의 정확도 향상이 이루어졌다.
• 비지도 부분 추정을 통합함으로써 iNaturalist 사전 훈련 조건에서 분류 정확도가 2.6%p 향상되었다.
• 전체 파이프라인이 자르지 않은 스캐너 이미지에서 분류 정확도를 분류기 전용일 때의 79.62%에서 88.05%로 향상시켰으며, 이는 복잡한 환경에서 국소화의 가치를 입증한다.