[논문 리뷰] RxRx1: A Dataset for Evaluating Experimental Batch Correction Methods

Maciej Sypetkowski, Morteza Rezanejad외 10명|arXiv (Cornell University)|2023. 01. 13.

Cell Image Analysis Techniques인용 수 7

한 줄 요약

이 논문은 46GB 크기의 RxRx1 데이터셋을 소개하며, 4종류의 인간 세포 유형에서 1,138개의 유전자 조작 조건 하에 51개의 실험 런에 걸쳐 수집된 총 125,510장의 고해상도 6채널 형광 현미경 영상로 구성되어 있다. 이는 배치 보정 방법을 평가하기 위한 조작 분류 작업을 제안하며, 적응형 배치 정규화(AdaBN)가 미리 보지 못한 런에 대해 일반화 성능을 크게 향상시켜, 자가 표준화를 통한 87.1%의 정확도를 달성함으로써 표준 배치 정규화와 기울기 반전보다 뛰어난 성능을 보였다.

ABSTRACT

High-throughput screening techniques are commonly used to obtain large quantities of data in many fields of biology. It is well known that artifacts arising from variability in the technical execution of different experimental batches within such screens confound these observations and can lead to invalid biological conclusions. It is therefore necessary to account for these batch effects when analyzing outcomes. In this paper we describe RxRx1, a biological dataset designed specifically for the systematic study of batch effect correction methods. The dataset consists of 125,510 high-resolution fluorescence microscopy images of human cells under 1,138 genetic perturbations in 51 experimental batches across 4 cell types. Visual inspection of the images alone clearly demonstrates significant batch effects. We propose a classification task designed to evaluate the effectiveness of experimental batch correction methods on these images and examine the performance of a number of correction methods on this task. Our goal in releasing RxRx1 is to encourage the development of effective experimental batch correction methods that generalize well to unseen experimental batches. The dataset can be downloaded at https://rxrx.ai.

연구 동기 및 목표

• 고속 생물학적 스크리닝 데이터에서 기술적 배치 변동의 혼란 효과를 해결하기 위해.
• 이미지 기반 형태학적 스크리닝에서 실험적 배치 보정 방법을 평가하기 위한 표준화된 벤치마크를 제공하기 위해.
• 생물학적 영상에 적용된 머신러닝에서 도메인 적응 및 일반화를 체계적으로 평가하기 위해.
• 학습 데이터에 포함된 런 외부의 새로운 실험 런에 일반화할 수 있는 방법 개발을 장려하기 위해.
• 생물학적 영상 분석에서 도메인 일반화, 전이 학습, 소수의 예제 학습 연구를 지원하기 위해.

제안 방법

• 데이터셋은 51개의 실험 런, 4종의 세포 유형, 1,139개의 조작 클래스(비어 있는 클래스 포함)에서 유래한 총 125,510장의 6채널 형광 현미경 영상로 구성되어 있다.
• 배치 보정을 평가하기 위해 분류 작업을 제안하며, 일부 런에 대해 학습하고 보류된, 즉 학습 중에 보지 못한 런에 대해 테스트하여 모델의 일반화 능력을 평가한다.
• 딥러닝 모델에 적응형 배치 정규화(AdaBN)를 백본으로 사용하며, 각 이미지의 해당 실험 런에서의 배치 특성 통계를 사용해 특징을 정규화한다.
• 이미지 전처리로 자가 표준화를 적용하며, 각 이미지의 채널을 해당 이미지의 평균과 표준편차를 사용해 정규화하며, 이는 가장 높은 성능을 보임을 입증하였다.
• 보정 방법의 효과를 평가하기 위해 세 가지 평가 지표를 도입하였다: 조작 분류 정확도, 미리 보지 못한 런에 대한 일반화 능력, 다양한 실험 조건에서의 강건성.
• AdaBN을 기울기 반전 및 표준 배치 정규화와 비교하며, 수렴 속도, 정확도, 학습 런 간의 분산을 측정하였다.

Figure 1: (a) Top: Depiction of full-complementarity of an siRNA to an mRNA to knockdown a particular target gene. Bottom: Depiction of partial-complementarity in the seed-region of an siRNA, leading to partial knockdown of hundreds of additional genes. (b) Schematic of a 384-well plate demonstratin

실험 결과

연구 질문

• RQ1 고내용 스크리닝 데이터에서 적응형 배치 정규화(AdaBN)는 학습 중에 보지 못한 실험 런에 대해 배치 효과를 얼마나 효과적으로 보정하는가?
• RQ2 이미지 채널의 자가 표준화는 이미지 기반 형형학적 스크리닝에서 배치 보정 방법의 성능을 향상시키는가?
• RQ3 다양한 정규화 전략(예: 이미지별, 런별, 플레이트별)은 조작 분류 정확도와 모델의 일반화 능력에 어떤 영향을 미치는가?
• RQ4 딥러닝 기반의 배치 보정 방법은 학습 중에 보지 못한 완전히 새로운 실험 런에 효과적으로 일반화할 수 있는가?
• RQ5 왜곡된 상관관계나 런 특화된 아티팩트가 생물학적으로 의미 있는 형태학적 표현 학습을 얼마나 방해하는가?

주요 결과

• 각 이미지의 채널을 해당 이미지의 평균과 표준편차를 사용해 자가 표준화한 결과, 87.1%의 최고 수준의 조작 분류 정확도를 기록하였다.
• AdaBN 방법은 학습 중에 보지 못한 실험 런에 대해 가장 뛰어난 일반화 성능을 보였으며, 표준 배치 정규화 및 기울기 반전보다 뛰어났다.
• AdaBN는 기준 모델 대비 더 빠른 수렴 속도를 보였고, 학습 런 간 분산이 낮았으며(평균 ± 표준편차), 더 일관된 학습을 보였다.
• 기울기 반전은 성능 향상을 보였지만, 학습 중에 보지 못한 런에 대해 일반화하지 못했으며, 이는 런 특화된 패턴을 학습하고 있을 뿐이며, 강건하고 분리된 표현을 학습하지는 못하고 있음을 시사한다.
• 제안된 작업은 배치 효과를 생물학적 변동에서 효과적으로 분리하여 보정 방법의 정량적 평가를 가능하게 하였다.
• 데이터셋과 작업은 배치 효과가 분류 성능에 심각하게 영향을 미치며, 자가 표준화 시 87.1%에서, 정규화 없이 78.4%로 정확도가 떨어짐을 드러내었다.

Figure 2: 6-channel faux-colored composite image of HUVEC cells (left) and individual channels (right) stained with Hoechst 33342 (channel 1, blue), Alexa Fluor 488 Concanavalin A (channel 2, green), Alexa Fluor 568 Phalloidin (channel 3, red), Syto14 (channel 4, cyan), MitoTracker Deep Red FM (chan