[논문 리뷰] Fine-Grained Visual Classification of Plant Species In The Wild: Object Detection as A Reinforced Means of Attention

Matthew Keaton, Ram J. Zaveri외 4명|arXiv (Cornell University)|2021. 06. 03.

Species Distribution and Climate Change참고 문헌 36인용 수 6

한 줄 요약

이 논문은 객체 검출을 통해 주요 식물 기관(잎, 꽃, 열매, 줄기, 고밀도 잎)을 국소화하고 기관별 분류기의 예측을 융합함으로써 야생에서 미세한 식물 종 식별을 위한 바닥에서부터 시작하는 접근법을 제안한다. 이 방법은 합산 규칙 융합을 통해 79.36%의 정확도를 달성하며, 개별 기관 분류기와 전체 이미지 기반 ResNet-18 기준선을 모두 능가한다. 또한 기관 검출 및 기관 기반 분류를 위한 공개 가능한 장꼬리 분포 데이터셋을 도입한다.

ABSTRACT

Plant species identification in the wild is a difficult problem in part due to the high variability of the input data, but also because of complications induced by the long-tail effects of the datasets distribution. Inspired by the most recent fine-grained visual classification approaches which are based on attention to mitigate the effects of data variability, we explore the idea of using object detection as a form of attention. We introduce a bottom-up approach based on detecting plant organs and fusing the predictions of a variable number of organ-based species classifiers. We also curate a new dataset with a long-tail distribution for evaluating plant organ detection and organ-based species identification, which is publicly available.

연구 동기 및 목표

• 야생 이미지에서의 높은 데이터 변동성과 장꼬리 클래스 분포 문제를 해결하기 위해.
• 객체 검출을 통해 분류 가능한 식물 기관을 국소화하여 배경 잡음과 내부 클래스 변동성에 대한 강건성을 향상시키기 위해.
• 다양한 기관 기반 분류기의 예측을 융합하는 프레임워크를 개발하여 전체 종 식별 정확도를 향상시키기 위해.
• 식물 기관 검출 및 기관 기반 종 분류를 평가하기 위한 새로운 장꼬리 분포 데이터셋을 구축하고 공개하기 위해.

제안 방법

• 바닥에서부터 시작하는 접근법은 객체 검출기를 사용하여 야생 이미지 내 식물 기관(잎, 꽃, 열매, 줄기, 고밀도 잎)을 국소화한다.
• 각 검출된 관심 영역(ROI)은 기관 특징에 기반해 훈련된 기관별 종 분류기에 전달된다.
• 합산 규칙, 곱셉 규칙 또는 투표 방식과 같은 융합 전략을 적용하여 기관 기반 분류 확률을 통합해 최종 이미지 수준의 예측을 도출한다.
• 비지도 주의보다 더 강건한 지도 학습 기반 객체 검출을 활용하여 장꼬리 설정에서의 의존도를 줄이고, 성능을 향상시킨다.
• 1,000종의 식물과 장꼬리 분포를 포함하는 새로운 데이터셋을 구축하였으며, 잎 샘플 3,568개와 열매 샘플 1,122개를 포함하고 있으며, 다섯 가지 기관 유형에 대한 주석 정보가 포함되어 있다.
• 평가에서는 검출에 대해 COCO 스타일의 평균 정확도(AP)와 분류에 대해 정확도를 사용하며, 융합 규칙에 대한 분석(ablation)을 실시한다.

실험 결과

연구 질문

• RQ1 객체 검출은 야생에서의 미세한 식물 종 식별에 대해 더 강건한 지도 학습 기반 주의 방식으로 기능할 수 있는가?
• RQ2 다양한 기관 기반 분류기의 예측을 융합하는 방식이 단일 이미지 또는 단일 기관 접근 방식에 비해 전체 종 식별 정확도를 얼마나 향상시키는가?
• RQ3 실제 식물 이미지 데이터의 장꼬리 분포가 기관 검출 및 기관 기반 분류 성능에 어느 정도의 영향을 미치는가?
• RQ4 바닥에서부터 시작하는 기관 국소화 접근 방식은 야생 식물 이미지 인식에서 데이터 변동성과 배경 혼잡성의 부정적 영향을 완화시킬 수 있는가?

주요 결과

• 제안된 방법은 합산 규칙 융합을 통해 79.36%의 종 식별 정확도를 달성하였으며, ResNet-18 기준선의 69.65%를 초월하였다.
• 세 가지 융합 방법 중에서 합산 규칙 융합 전략이 가장 높은 정확도를 기록하여, 다수의 기관 예측을 효과적으로 통합함을 입증하였다.
• 기관 기반 분류기는 풍부한 기관(예: 꽃의 경우 75.24%)에서 높은 정확도를 달성했지만, 희귀 기관인 줄기(58.24%)와 HDL(34.21%)에서는 성능이 크게 떨어졌으며, 이는 데이터 부족을 반영한다.
• 기관 검출기는 새로운 데이터셋에서 총 AP 42.9%를 기록했으며, 잎(40.9%)과 줄기(74.0%)에서 높은 성능를 보였지만, 더 작은 또는 구별성이 떨어지는 기관 검출에 어려움을 겪고 있음을 시사한다.
• 데이터셋은 뚜렷한 장꼬리 분포를 보이며, 161종의 식물이 완전한 ROI 데이터와 최소 130개의 잎 샘플을 확보하고 있으나, 많은 종에서 기관 주석 수가 매우 적다.
• 중간 정도의 검출 성능에도 불구하고 융합 메커니즘이 잘못된 검출을 효과적으로 걸러내고, 주석이 없는 검출까지 활용하여 높은 최종 정확도를 유지하였다.