[논문 리뷰] A Mask R-CNN approach to counting bacterial colony forming units in pharmaceutical development

Tanguy Naets, Maarten Huijsmans외 3명|arXiv (Cornell University)|2021. 03. 09.

Cell Image Analysis Techniques인용 수 10

한 줄 요약

이 논문은 제약 개발 과정에서 BVG- 및 BVG+ 박테리아의 집단형성 단위(CFU)를 자동으로 세는 데 목적이 있는 Mask R-CNN 기반의 인스턴스 세그멘테이션 모델을 제안한다. 101장의 GSK가 레이블링한 페트리 접시 이미지로 훈련된 모델은 50% IoU에서 평균 정밀도(mAP)가 94%를 기록하여 수작업 세기 오류를 크게 줄이고, 희석 계수 지원 기능을 갖춘 웹 기반 SPA에 통합되어 실험 기술자가 결과를 검토하고 보완할 수 있도록 한다.

ABSTRACT

We present an application of the well-known Mask R-CNN approach to the counting of different types of bacterial colony forming units that were cultured in Petri dishes. Our model was made available to lab technicians in a modern SPA (Single-Page Application). Users can upload images of dishes, after which the Mask R-CNN model that was trained and tuned specifically for this task detects the number of BVG- and BVG+ colonies and displays these in an interactive interface for the user to verify. Users can then check the model's predictions, correct them if deemed necessary, and finally validate them. Our adapted Mask R-CNN model achieves a mean average precision (mAP) of 94\\% at an intersection-over-union (IoU) threshold of 50\\%. With these encouraging results, we see opportunities to bring the benefits of improved accuracy and time saved to related problems, such as generalising to other bacteria types and viral foci counting.

연구 동기 및 목표

• 백신 개발 과정에서 페트리 접시의 박테리아 CFU를 세는 데 수작업으로 이루어지며 시간이 오래 걸리고 오류가 발생하기 쉬운 작업을 자동화하기 위해.
• 기존 컴퓨터 비전 기법의 한계, 예를 들어 겹치는 집단 처리 능력 부족과 비균형한 픽셀 클래스 처리 문제를 해결하기 위해.
• 사용자 친화적인 웹 애플리케이션에 통합된 견고하고 생산용으로 사용 가능한 딥 러닝 시스템을 개발하기 위해.
• 희석 계수 통합을 통해 신뢰구간을 포함한 정확한 박테리아 농도 추정을 가능하게 하기 위해.
• 다른 박테리아 종이나 바이러스 집단 수를 세는 데에도 확장 가능한 솔루션을 제공하기 위해.

제안 방법

• 페트리 접시 이미지 내 BVG- 및 BVG+ CFU의 인스턴스 세그멘테이션을 위해 Matterport에서 제공하는 Mask R-CNN의 구현을 미세 조정하였다.
• 훈련용 65%, 검증용 15%, 테스트용 20%로 분할된 101장의 GSK가 레이블링한 이미지로 모델을 훈련시켰다.
• 제한된 훈련 데이터로 일반화 능력을 향상시키기 위해 기울임, 반전 등의 데이터 증강 기법을 적용하였다.
• 사용자가 이미지를 업로드하고, 모델 예측 결과를 시각화하며, 수작업으로 CFU 수를 수정할 수 있도록 Vue.js와 Vuetify를 사용해 단일 페이지 애플리케이션(SPA)을 개발하였다.
• 삼중 희석 실험에서의 총 박테리아 수와 신뢰구간을 계산하기 위해 희석 계수 입력 기능을 통합하였다.
• 예측 결과의 상호작용 편집을 가능하게 하여 검토, 삭제, 수작업으로 CFU 생성이 가능하며, 변경 사항은 지속적으로 저장된다.

실험 결과

연구 질문

• RQ1 Mask R-CNN 기반의 인스턴스 세그멘테이션 모델은 제약 영상에서 겹치는 집단과 비균형한 픽셀 클래스를 가진 박테리아 CFU를 높은 정확도로 세는 데 성공할 수 있는가?
• RQ2 모델 성능은 CFU 수를 세는 데 있어 인간 간의 관측자 간 변동성과 비교해 어떻게 다른가?
• RQ3 웹 기반 SPA는 실험실 기반의 CFU 정량화 작업의 효율성과 정확도를 어느 정도 향상시킬 수 있는가?
• RQ4 모델은 최소한의 재학습으로 다른 박테리아 종이나 바이러스 집단 수를 세는 데에도 일반화될 수 있는가?
• RQ5 제한된 훈련 데이터에서 모델의 강건성 향상에 있어 데이터 증강 기법이 얼마나 효과적인가?

주요 결과

• Mask R-CNN 모델은 교차율-합계(IoU) 임계치 50%에서 평균 정밀도(mAP)가 94%를 기록하여 강력한 탐지 및 세그멘테이션 성능을 입증하였다.
• 사용자 간의 변동성 대비 사용자-모델 간 변동성이 유의미하게 낮았으며, BVG+의 경우 MAPE가 33%로, 사용자 간 평균 43%보다 낮았고, BVG-의 경우 45%로 사용자 간 평균 68%보다 유의미하게 낮았다.
• 모델은 배경 또는 경계 픽셀 분류에 의존하지 않기 때문에 클래스 불균형과 겹치는 집단 문제를 효과적으로 완화하였다.
• 웹 기반 SPA는 실시간 상호작용을 가능하게 하여 사용자가 결과를 검토하고 수정하며, 희석 계수 통합 기능을 통해 정확한 박테리아 농도 추정이 가능하도록 하였다.
• 특히 기울임을 포함한 데이터 증강 기법이 제한된 훈련 데이터로도 다양한 촬영 조건에서의 일반화 능력을 크게 향상시켰다.
• 사용자 우아한 데이터 레이블링 기능을 앱 내에서 제공함으로써 향후 재학습을 통해 다른 박테리아 종이나 바이러스 집단 수 세기로의 확장 가능성을 입증하였다.