[논문 리뷰] Bird Species Classification using Transfer Learning with Multistage Training

Sourya Dipta Das, Akash Kumar|arXiv (Cornell University)|2018. 10. 09.

Animal Vocal Communication and Behavior인용 수 6

한 줄 요약

이 논문은 다단계 훈련을 통한 전이 학습 기반 방법을 제안하며, 객체 정위를 위해 Mask R-CNN을, 미세한 특징 학습을 위해 앙상블 Inception 네트워크(InceptionV3 및 InceptionResNetV2)를 활용하여 새 종 분류를 수행한다. 이 방법은 CVIP 2018 벤치마크 데이터셋에서 F1 스코어 55.67%를 기록하였으며, 전체 이미지 및 국소화된 새 ROI에 대한 데이터 증강과 단계적 훈련을 통해 정확도를 크게 향상시켰다.

ABSTRACT

Bird species classification has received more and more attention in the field of computer vision, for its promising applications in biology and environmental studies. Recognizing bird species is difficult due to the challenges of discriminative region localization and fine-grained feature learning. In this paper, we have introduced a Transfer learning based method with multistage training. We have used both Pre-Trained Mask-RCNN and an ensemble model consisting of Inception Nets (InceptionV3 & InceptionResNetV2 ) to get localization and species of the bird from the images respectively. Our final model achieves an F1 score of 0.5567 or 55.67 % on the dataset provided in CVIP 2018 Challenge.

연구 동기 및 목표

• 제한적이고 불균형한 훈련 데이터를 바탕으로 고해상도 이미지에서 미세한 특징을 가진 새 종을 분류하는 데 도전하는 것.
• Mask R-CNN를 통한 객체 정위와 사전 훈련된 Inception 네트워크에서의 깊이 있는 특징 학습을 융합하여 분류 정확도를 향상시키는 것.
• 데이터 증강과 전체 이미지 및 국소화된 새 영역에 대한 다단계 훈련을 통해 클래스 불균형과 과적합을 완화하는 것.
• 자연 외부 환경에서 새 종을 탐지하고 분류할 수 있는 엔드 투 엔드 시스템을 개발하는 것.

제안 방법

• COO의 가중치를 가진 사전 훈련된 Mask R-CNN을 사용하여 이미지 내 새의 위치를 정위하고, 관심 영역(ROI) 컷을 생성한다.
• 다단계 훈련을 적용: 먼저 전체 해상도 이미지에서 전역 공간적 특징을 학습하고, 이후 Mask R-CNN가 생성한 새 ROI에서 미세한 국소적 특징을 학습한다.
• 가우시안 노이즈, 블러, 플립, 대비, 색조, 덧셈, 곱셈, 선명도 및 애핀 변환 등의 데이터 증강 기법을 적용하여 훈련 샘플을 늘리고 과적합을 줄인다.
• 최적의 성능를 위해 Swish 활성화 함수를 사용하여 InceptionV3 및 InceptionResNetV2를 기반으로 한 앙상블 모델을 훈련시킨다.
• 검출 및 분류 단계 모두에 대해 분류 교차 엔트로피 손실과 Adam 옵timizer를 사용한다.
• InceptionV3 및 InceptionResNetV2의 예측 결과를 앙상블 평균을 통해 융합하여 최종 분류 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 전체 이미지에서의 다단계 훈련 이후 국소화된 ROI에서의 훈련이 미세한 새 종 분류 정확도를 향상시키는가?
• RQ2 Inception 기반 아키텍처를 활용한 전이 학습은 작은, 불균형적인 데이터셋을 다루는 데 있어 새 종 인식에 얼마나 효과적인가?
• RQ3 데이터 증강이 제한된 훈련 샘플을 가진 소수의 샘플 분류에서 과적합을 얼마나 효과적으로 완화하는가?
• RQ4 배경 혼잡성과 가림 현상이 존재하는 환경에서 Mask R-CNN 기반 정위가 특징 학습에 어떻게 기여하는가?

주요 결과

• Mask R-CNN와 InceptionV3 및 InceptionResNetV2를 융합한 앙상블 모델이 테스트 세트에서 가장 높은 F1 스코어 55.67%를 기록하였다.
• 원본 이미지와 Mask R-CNN 컷에 대해 미세조정한 InceptionResNetV2 모델은 검증 F1 스코어 33.69%를 기록하여 일반화 능력 향상을 보였다.
• 다단계 훈련은 전체 이미지에서만 훈련한 경우 대비 테스트 F1 스코어를 InceptionResNetV2 기준 10.4%p 향상시켰다(전체 이미지 훈련 시 41.66% → 다단계 훈련 시 49.09%).
• 앙상블 접근법을 사용하여 정밀도 56.58%와 재현율 54.8%를 달성하여 다양한 클래스 간에 강건성을 입증하였다.
• 개선에도 불구하고, 10개 미만의 훈련 샘플을 가진 클래스들(예: cmnmyn, gretit, rebimg)은 자료 부족과 시각적 유사성으로 인해 성능이 열악하였다.
• 조명 변화와 작은, 저대비 ROI는 모델 성능을 심각하게 떨어뜨렸으며, 특히 미세한 특징 학습에 악영향을 주었다.