[논문 리뷰] Survey of Automatic Plankton Image Recognition: Challenges, Existing Solutions and Future Perspectives

Tuomas Eerola, Daniel Batrakhanov외 8명|arXiv (Cornell University)|2023. 05. 19.

Water Quality Monitoring Technologies인용 수 8

한 줄 요약

자동 플랑크톤 이미지 인식에 대한 포괄적 고찰로, 도전과제, 현재 솔루션(특징 공학 및 CNN 기반 방법), 데이터셋, 그리고 도구- 및 위치-에 구애받지 않는 시스템으로의 향후 방향을 상세히 다룬다.

ABSTRACT

Planktonic organisms are key components of aquatic ecosystems and respond quickly to changes in the environment, therefore their monitoring is vital to understand the changes in the environment. Yet, monitoring plankton at appropriate scales still remains a challenge, limiting our understanding of functioning of aquatic systems and their response to changes. Modern plankton imaging instruments can be utilized to sample at high frequencies, enabling novel possibilities to study plankton populations. However, manual analysis of the data is costly, time consuming and expert based, making such approach unsuitable for large-scale application and urging for automatic solutions. The key problem related to the utilization of plankton datasets through image analysis is plankton recognition. Despite the large amount of research done, automatic methods have not been widely adopted for operational use. In this paper, a comprehensive survey on existing solutions for automatic plankton recognition is presented. First, we identify the most notable challenges that that make the development of plankton recognition systems difficult. Then, we provide a detailed description of solutions for these challenges proposed in plankton recognition literature. Finally, we propose a workflow to identify the specific challenges in new datasets and the recommended approaches to address them. For many of the challenges, applicable solutions exist. However, important challenges remain unsolved: 1) the domain shift between the datasets hindering the development of a general plankton recognition system that would work across different imaging instruments, 2) the difficulty to identify and process the images of previously unseen classes, and 3) the uncertainty in expert annotations that affects the training of the machine learning models for recognition. These challenges should be addressed in the future research.

연구 동기 및 목표

• 대규모 운영 활용을 저해하는 주요 도전과제를 식별하고 분류한다.
• 전통적 특징 공학 기반 파이프라인과 그 플랑크톤 이미지에의 적용 가능성을 검토한다.
• 플랑크톤 인식 연구에 사용되는 공개 데이터셋과 이미징 도구를 요약한다.
• 데이터셋 특성 문제를 진단하고 권장 해결책을 제시하는 워크플로를 제안한다.
• 조화로운, 도구- 및 위치- 구애 없는 해법을 위한 미해결 도전과제와 향후 연구 방향을 강조한다.

제안 방법

• 플랑크톤 인식의 주요 도전과제를 파악하고 문헌에서Corresponding 솔루션을 요약하기 위해 문헌을 조사한다.
• 전통적인 특징 공학 기반 파이프라인과 그 일반적인 구성요소(특징 추출, 선택, 분류)를 기술한다.
• 일반 목적 및 플랑크톤 특화 모델을 포함한 CNN 기반 아키텍처를 검토하고 데이터셋 간 성능 추세를 분석한다.
• 핸드크래프트 특징과 CNN을 결합한 하이브리드 접근법 및 앙상블 전략을 논의한다.
• 데이터셋 차이를 맥락화하기 위해 공개된 플랑크톤 이미지 데이터셋과 이미징 도구를 요약한다.

실험 결과

연구 질문

• RQ1 다양한 이미지 시스템에서 일반적이고 운영 가능한 플랑크톤 인식을 차단하는 주요 도전과제는 무엇인가?
• RQ2 도메인 이동, 보지 못한 클래스, 주석 불확실성에 대처하기 위한 문헌상의 해법은 무엇인가?
• RQ3 벤치마크 간 플랑크톤 이미지 분류에서 특징 공학 방법과 CNN 기반 접근법은 어떻게 비교되는가?
• RQ4 가용한 데이터셋과 이미징 도구는 무엇이며, 이것이 방법의 성능과 비교 가능성에 어떤 영향을 미치는가?
• RQ5 새로운 플랑크톤 이미지 컬렉션에서 데이터셋 특성 문제를 해결하기 위한 워크플로는 무엇인가?

주요 결과

• 데이터셋 간 도메인 이동으로 인해 도구 간 사용할 수 있는 일반 플랑크톤 인식 시스템 개발이 저해된다.
• 보지 못한 클래스와 비플랑크톤 입자의 이미지 식별 및 처리 여전히 어렵다.
• 전문가 주석의 불확실성이 인식 모델 학습에 영향을 미친다.
• 많은 도전에 대해 적용 가능한 해법이 존재하지만, 특히 운영 배치에 대한 중요한 도전은 아직 해결되지 않았다.
• CNN 기반 방법이 여러 벤치마크에서 전통적 특징 공학 접근법보다 정확도가 크게 앞서지만 운영 채택은 제한적이다.
• 하이브리드 및 앙상블 접근법과 홀로그래픽 및 특수 이미징에 맞춘 특화 아키텍처가 성능과 효율성을 개선하기 위해 탐구된다.