[논문 리뷰] The Cells Out of Sample (COOS) dataset and benchmarks for measuring out-of-sample generalization of image classifiers

Alex X. Lu, Amy X. Lu외 4명|arXiv (Cornell University)|2019. 01. 01.

Cell Image Analysis Techniques인용 수 7

한 줄 요약

COOS-7 데이터셋은 7개 클래스로 구성된 132,209장의 마우스 세포 영상으로 이루어져 있으며, 영상 분류기의 샘플 외 일반화 성능을 체계적으로 평가할 수 있도록 한다. 시간, 기기, 조건이 다른 다양한 조건에서의 제어된 공변량 이동을 고려한 네 가지 테스트 세트(내분포에서 시작하여 시간, 기기, 조건이 다른 영상으로 점차 이격됨)를 통해 전이 학습, 감독 기반 딥 컨볼루션 신경망, 자기지도 기반 표현을 평가하였으며, 분포 이동이 증가할수록 성능 저하가 뚜렷하게 나타났다.

ABSTRACT

Understanding if classifiers generalize to out-of-sample datasets is a central problem in machine learning. Microscopy images provide a standardized way to measure the generalization capacity of image classifiers, as we can image the same classes of objects under increasingly divergent, but controlled factors of variation. We created a public dataset of 132,209 images of mouse cells, COOS-7 (Cells Out Of Sample 7-Class). COOS-7 provides a classification setting where four test datasets have increasing degrees of covariate shift: some images are random subsets of the training data, while others are from experiments reproduced months later and imaged by different instruments. We benchmarked a range of classification models using different representations, including transferred neural network features, end-to-end classification with a supervised deep CNN, and features from a self-supervised CNN. While most classifiers perform well on test datasets similar to the training dataset, all classifiers failed to generalize their performance to datasets with greater covariate shifts. These baselines highlight the challenges of covariate shifts in image data, and establish metrics for improving the generalization capacity of image classifiers.

연구 동기 및 목표

• 현미경 데이터를 활용하여 샘플 외 일반화 성능을 측정하기 위한 표준화된 벤치마크를 개발하는 것.
• 다양한 표현 학습 방법이 증가하는 공변량 이동 조건에서 어떻게 성능을 발휘하는지 조사하는 것.
• 실제적이면서 제어 가능한 영상 조건, 시간, 기기 변화를 포괄하는 공개 데이터셋을 구축하는 것.
• 분포 이동 조건 하에서 전이 학습, 감독 기반 딥 러닝, 자기지도 기반 표현의 강건성을 평가하는 것.

제안 방법

• COOS-7 데이터셋은 제어된 다양한 실험 조건에서 수집한 마우스 세포 영상으로 구성되었다.
• 공변량 이동 정도가 점차 증가하는 네 가지 테스트 세트를 생성: 내분포 서브셋, 동일 실험 6개월 후, 다른 기기에서 촬영한 영상, 다른 생물학적 준비물.
• 다양한 모델을 평가: 사전 학습된 CNN 특징를 활용한 전이 학습, 엔드 투 엔드 감독 기반 딥 컨볼루션 신경망, 자기지도 기반 CNN 표현.
• 분포 이동이 증가함에 따라 일반화 성능을 측정하기 위해 네 가지 테스트 세트에서 분류 정확도를 측정.
• 시간, 기기, 생물학적 변동에 따른 모델 강건성의 제어된 비교를 가능하게 한다.
• 공변량 이동 증가에 따른 성능 저하를 측정하여 일반화 능력을 평가하는 벤치마크이다.

실험 결과

연구 질문

• RQ1 다양한 표현 학습 방법이 증가하는 공변량 이동을 가진 샘플 외 데이터에 대해 어떻게 일반화되는가?
• RQ2 전이 학습, 감독 기반 딥 러닝, 자기지도 기반 표현이 실질적인 영상 조건 변화에서 얼마나 성능을 유지하는가?
• RQ3 시간, 기기, 생물학적 조건 측면에서 테스트 데이터가 훈련 데이터에서 얼마나 떨어지게 되는가에 따라 성능은 어떻게 저하되는가?
• RQ4 샘플 외 일반화를 정량화하는 데 가장 효과적인 지표와 벤치마크는 무엇인가?

주요 결과

• 모든 분류기들이 내분포 테스트 세트에서는 뛰어난 성능를 보였지만, 공변량 이동이 더 큰 데이터셋에는 일반화하지 못했다.
• 모든 모델 유형에서 성능 저하가 일관되게 나타나, 분포 이동을 다루는 데 근본적인 과제가 있음을 시사한다.
• 중간 수준의 이동 조건에서는 전이 학습과 자기지도 기반 표현이 엔드 투 엔드 감독 기반 CNN보다 약간 더 강건한 성능를 보였지만, 고도의 이동 조건에서는 여전히 실패했다.
• COOS-7 벤치마크는 현재 모델들이 시간 지연 실험과 기기 차이 등 영상 조건 변화에 매우 민감하다는 것을 드러냈다.
• 이 데이터셋과 벤치마크는 영상 분류기의 일반화 성능 평가 및 향상에 대한 재현 가능한 프레임워크를 제공한다.
• 결과는 현미경 및 기타 영상 응용 분야에서 실제 세계의 분포 이동을 다룰 수 있도록 보다 향상된 불변성 학습이 필요하다는 점을 강조한다.