[논문 리뷰] CytoImageNet: A large-scale pretraining dataset for bioimage transfer learning

Stanley Bryan Z. Hua, Alex X. Lu외 1명|arXiv (Cornell University)|2021. 11. 23.

Cell Image Analysis Techniques참고 문헌 19인용 수 5

한 줄 요약

CytoImageNet는 894개 클래스에 걸쳐 총 890,737장의 현미경 영상으로 구성된 대규모, 약한 레이블이 부여된 데이터셋으로, 40개의 공공 데이터소스에서 수집되어 생물영상 분석을 위한 도메인 특화 사전학습을 가능하게 한다. CytoImageNet에서 사전학습을 수행한 특징은 ImageNet 특징과 융합되었을 때, 하류 현미경 분류 작업에서 각각 단독으로 사용할 경우보다 유의하게 뛰어난 성능을 보이며, 상호보완적이고 생물학적으로 관련성이 있는 표현을 제공함을 보여준다.

ABSTRACT

Motivation: In recent years, image-based biological assays have steadily become high-throughput, sparking a need for fast automated methods to extract biologically-meaningful information from hundreds of thousands of images. Taking inspiration from the success of ImageNet, we curate CytoImageNet, a large-scale dataset of openly-sourced and weakly-labeled microscopy images (890K images, 894 classes). Pretraining on CytoImageNet yields features that are competitive to ImageNet features on downstream microscopy classification tasks. We show evidence that CytoImageNet features capture information not available in ImageNet-trained features. The dataset is made available at https://www.kaggle.com/stanleyhua/cytoimagenet.

연구 동기 및 목표

• 기능 게놈학과 약물 발견 분야에서 고스피드 현미경 영상의 효율적이고 자동화된 분석을 위한 필요성 해결.
• ImageNet 특징이 현미경 영상에서 생물학적으로 관련된 패턴을 포착하지 못하는 한계를 보완하기 위해 도메인에 맞는 사전학습 데이터셋 구축.
• 공개된 자료들로부터 대규모, 약한 레이블이 부여된 생물영상 데이터셋을 코딩하기 위한 확장 가능한 프레임워크 개발.
• CytoImageNet 사전학습이 ImageNet 특징과 상호보완적인 특징을 생성하며 하류 전이학습 성능을 향상시킴을 입증함.

제안 방법

• Recursion, Image Data Resource, Broad Bioimage Benchmark Collection, Kaggle, Cell Image Library의 다섯 개 데이터베이스에서 40개의 공개된 데이터셋을 바탕으로 890,737장의 현미경 영상 수집.
• 생물종, 세포 유형, 표현형, 화합물, 유전자, siRNA 등의 메타데이터를 사용하여 약한 레이블 할당하며, 레이블당 최소 287장의 영상 확보를 위해 기준 설정.
• 고빈도 레이블의 과도한 표현을 방지하고 레이블 다양성을 향상시키기 위해 계층적 다운샘플링 적용.
• 강도 정규화(0.1 백분위수에서 99.9 백분위수 범위)를 통해 영상 표준화하고, 채널 병합 또는 채널별 특징 추출을 위한 전처리 방법 탐색.
• CytoImageNet에서 EfficientNetB0 모델을 학습하고, 하류 분류 작업에서 ImageNet 특징과 비교하여 최전단 층의 특징 분석.
• CytoImageNet 및 ImageNet 특징을 연결하여 융합함으로써 상호보완적 표현 학습 평가.

실험 결과

연구 질문

• RQ1 ImageNet 사전학습과 비교해 볼 때, 대규모 약한 레이블이 부여된 현미경 영상 데이터셋이 생물영상 분류 작업의 전이학습 성능 향상에 기여할 수 있는가?
• RQ2 CytoImageNet에서 학습된 특징은 ImageNet 특징에 존재하지 않는 생물학적 정보를 포착하는가?
• RQ3 CytoImageNet 및 ImageNet 특징을 융합하면, 하류 현미경 작업에서 각각 단독으로 사용할 경우보다 성능 향상이 이루어지는가?
• RQ4 현미경 데이터에 대한 도메인 특화 사전학습이 일반적인 자연영상 사전학습보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 다양한 하류 현미경 데이터셋에서 테스트한 결과, CytoImageNet 특징은 ImageNet 특징보다 성능이 뛰어나게 나타나는가?

주요 결과

• CytoImageNet 특징는 모든 하류 작업에서 ImageNet 특징와 유사한 성능을 보였으며, BBC021에서 83.5%의 정확도, COOS7 Test Set 1에서 88.87%의 정확도 기록.
• CytoImageNet 및 ImageNet 특징 융합으로 BBC021에서 86.41%, CYCLoPs에서 77.97%, COOS7 Test Set 1에서 94.80%의 정확도 기록하여, 각각 단독으로 사용할 경우보다 유의미하게 뛰어난 성능 확보.
• COOS7 Test Set 4에서 융합 모델은 87.47%의 정확도 기록했으며, ImageNet 특징는 82.19%, CytoImageNet 특징는 78.52%로 각각 떨어진 성능 기록.
• CytoImageNet에서의 검증 정확도가 11.32%로 낮게 나타나, 하이퍼파rameter 튜닝을 통해 특징 품질과 하류 성능 향상이 가능할 것으로 예상됨.
• 채널별로 픽셀 강도를 정규화하고 채널별 특징 추출을 수행한 경우, 모든 데이터셋 및 특징 유형에서 최고의 성능 기록.
• 특징 융합으로 인한 뚜렷한 성능 향상은 CytoImageNet 및 ImageNet 사전학습이 생물영상 분석에 관련된 서로 다른, 상호보완적인 표현을 학습하고 있음을 시사함.