[논문 리뷰] WHOI-Plankton- A Large Scale Fine Grained Visual Recognition Benchmark Dataset for Plankton Classification

Eric C. Orenstein, Oscar Beijbom외 2명|arXiv (Cornell University)|2015. 10. 02.

Water Quality Monitoring Technologies참고 문헌 5인용 수 57

한 줄 요약

이 논문은 8년간의 연속적인 IFCB 데이터에서 70개 클래스에 걸쳐 전문가가 라벨링한 340만 장의 플랑크톤 이미지를 포함하는 대규모이고 세분화된 시각 인식 데이터셋 WHOI-Plankton을 소개한다. 미세 조정된 VGG 기반의 CNN(CNN$_{\textrm{FT}}$)을 사용하여 최신 기술 수준의 무게 조정되지 않은 F1 스코어 0.42를 달 đạt했으며, 수작업으로 설계된 특징과 초기화된 상태에서 학습된 CNN보다 뛰어난 성능을 보였다.

ABSTRACT

Planktonic organisms are of fundamental importance to marine ecosystems: they form the basis of the food web, provide the link between the atmosphere and the deep ocean, and influence global-scale biogeochemical cycles. Scientists are increasingly using imaging-based technologies to study these creatures in their natural habit. Images from such systems provide an unique opportunity to model and understand plankton ecosystems, but the collected datasets can be enormous. The Imaging FlowCytobot (IFCB) at Woods Hole Oceanographic Institution, for example, is an \emph{in situ} system that has been continuously imaging plankton since 2006. To date, it has generated more than 700 million samples. Manual classification of such a vast image collection is impractical due to the size of the data set. In addition, the annotation task is challenging due to the large space of relevant classes, intra-class variability, and inter-class similarity. Methods for automated classification exist, but the accuracy is often below that of human experts. Here we introduce WHOI-Plankton: a large scale, fine-grained visual recognition dataset for plankton classification, which comprises over 3.4 million expert-labeled images across 70 classes. The labeled image set is complied from over 8 years of near continuous data collection with the IFCB at the Martha's Vineyard Coastal Observatory (MVCO). We discuss relevant metrics for evaluation of classification performance and provide results for a traditional method based on hand-engineered features and two methods based on convolutional neural networks.

연구 동기 및 목표

• 거대한 이미징 데이터셋에서 매우 다양하고 형태가 유사한 플랑크톤 종을 분류하는 데 도전하는 것.
• 해양 생물학 분야의 세분화된 시각 인식을 위한 대규모 전문가 라벨링 기준 데이터셋을 제공하는 것.
• 실제 플랑크톤 이미지 분류 작업에서 전통적인 기계 학습 및 딥러닝 방법의 성능을 평가하는 것.
• 강력하고 일반화 가능한 분류기들을 활용해 향후 자동 플랑크톤 모니터링 및 생태학적 모델링 연구를 가능하게 하는 것.

제안 방법

• 데이터셋은 8년간 마사즈 바이니어드 해안 관측소에서 운영된 이미징 플로우세포메트르(IFCB)가 수집한 7억 개 이상의 ROI에서 구성된다.
• 대표적인 자연 플랑크톤 종 분포를 확보하기 위해, 랜덤으로 선택된 1시간 단위 데이터 세그먼트에 대해 전문가가 이중 주기로 라벨링을 적용한다.
• 세 가지 분류 방법을 평가한다: 수작업으로 설계된 형태학적 및 질감 특징을 사용하는 랜덤 포레스트(RF), 플랑크톤 데이터에서 초기화 없이 학습된 CNN(CNN$_{\textrm{P}}$), ImageNet으로 사전 훈련된 VGG-16 CNN을 ImageNet으로 미세 조정한 모델(CNN$_{\textrm{FT}}$).
• 모든 모델은 2014년 이전 데이터의 80%를 훈련 세트로 사용하고, 2014년의 매일을 독립적인 테스트 세트로 사용하여 실세계 시간적 배포를 시뮬레이션한다.
• 성능 평가 시, 매일의 모든 클래스에 대해 무게 조정되지 않은 F1 스코어의 평균을 사용하며, 클래스 불균형과 시간적 변동성을 고려하기 위해 표준 오차를 함께 보고한다.
• 이미지는 액면 비율을 유지하도록 크기 조정하고, 중심에 정렬하며, 훈련 ROI의 무작위 서브셋에서 구한 평균 픽셀 값으로 패딩한다.

실험 결과

연구 질문

• RQ1 세분화된 플랑크톤 이미지 분류에서 전통적인 수작업 특징 방법과 딥러닝 접근 방식 간의 성능 비교는 어떻게 되는가?
• RQ2 ImageNet에서의 전이 학습이 희귀하고 형태가 유사한 플랑크톤 분류군의 정확도 향상에 기여하는가?
• RQ3 플랑크톤 개체수와 구성의 단기적 시간적 변동성에 대해 분류 모델의 안정성은 어떠한가?
• RQ4 클래스 불균형이 모델 성능에 미치는 영향은 어느 정도이며, 무게 조정되지 않은 F1 스코어는 이러한 편향을 어떻게 완화하는가?
• RQ5 합성 데이터 증강 기법이 희귀한 플랑크톤 종의 인식 성능 향상에 기여할 수 있는가?

주요 결과

• 미세 조정된 CNN(CNN$_{\textrm{FT}}$)은 2014년 동안 매일 평균 무게 조정되지 않은 F1 스코어 0.42를 기록하여 RF 및 CNN$_{\textrm{P}}$를 모두 앞서는 최고의 성능을 보였다.
• RF 분류기는 평균 무게 조정되지 않은 F1 스코어 0.27을 기록했고, CNN$_{\textrm{P}}$는 0.36을 기록하여 전이 학습이 성능 향상에 상당한 기여를 했다는 것을 확인했다.
• ‘mix’ 클래스의 지배적인 영향으로 전체 정확도가 93.8%에 이르지만, 무게 조정되지 않은 F1 스코어는 희귀하고 구분하기 어려운 클래스의 성능를 더 잘 반영한다.
• CNN$_{\textrm{FT}}$ 모델은 매일의 성능에서 다른 모델들을 일관되게 앞섰으며, 희귀 종을 더 잘 탐지한 덕분에 오직 하루 동안만 RF가 약간 뛰어났다.
• ‘mix’ 클래스는 200만 개의 ROI를 차지하며 전체 데이터셋의 약 60%를 차지하여, 플랑크톤 이미지 인식에서의 클래스 불균형 문제를 부각시킨다.
• 이 연구는 시간적 변동성과 클래스 변동성이 높은 생태학적 분류 작업 평가에 있어, 매크로 평균 정확도보다 무게 조정되지 않은 F1 스코어가 더 적절한 지표임을 입증한다.