[논문 리뷰] Uncertainty Quantification for Atlas-Level Cell Type Transfer

Jan Engelmann, Leon Hetzel외 4명|arXiv (Cornell University)|2022. 11. 07.

Single-cell and spatial transcriptomics인용 수 5

한 줄 요약

이 논문은 단일세포 레퍼런스 아틀라스에서 세포 유형 전이에 대한 불확실성 정량화 방법을 소개하며, DKL 및 MIMO와 같은 모델이 WKNN 등 전통적 기준 모델보다 더 잘 校정된, 강건한 불확실성 추정을 제공함을 입증한다. 이러한 모델들은 분포 외 세포에 대해 예측 불확실성이 높아져 새로운 세포 상태 탐지에 실질적인 통찰을 제공할 수 있다.

ABSTRACT

Single-cell reference atlases are large-scale, cell-level maps that capture cellular heterogeneity within an organ using single cell genomics. Given their size and cellular diversity, these atlases serve as high-quality training data for the transfer of cell type labels to new datasets. Such label transfer, however, must be robust to domain shifts in gene expression due to measurement technique, lab specifics and more general batch effects. This requires methods that provide uncertainty estimates on the cell type predictions to ensure correct interpretation. Here, for the first time, we introduce uncertainty quantification methods for cell type classification on single-cell reference atlases. We benchmark four model classes and show that currently used models lack calibration, robustness, and actionable uncertainty scores. Furthermore, we demonstrate how models that quantify uncertainty are better suited to detect unseen cell types in the setting of atlas-level cell type transfer.

연구 동기 및 목표

• 단일세포 레퍼런스 아틀라스에서 세포 유형 분류에 대한 신뢰할 수 있는 불확실성 추정의 부족을 해결하기 위해.
• 기술적 및 생물학적 변동으로 인한 데이터셋 이동 상황에서 불확실성 인식 모델이 강건성과 校정성 향상에 기여하는지 평가하기 위해.
• 불확실성 정량화가 레퍼런스 아틀라스에 존재하지 않는 새로운 또는 분포 외 세포 유형을 탐지하는 데 기여하는지 확인하기 위해.
• WKNN, RF, DKL, MIMO 네 가지 모델 클래스의 불확실성 품질, 校정성, OOD 탐지 성능을 비교 평가하기 위해.
• 실세계 단일세포 게놈학 워크플로우에서 세포 유형 전이를 신뢰성 있게 해석하는 데 도움이 되는 실질적인 불확실성 지표를 제공하기 위해.

제안 방법

• 가중치 K-최근접 이웃(WKNN), 랜덤 포레스트(RF), 딥 커널 러닝(DKL), 다중 입력-다중 출력(MIMO) 분류기의 네 가지 모델 클래스를 평가하였다.
• 엔트로피와 상호정보량을 통한 예측 불확실성, 모델 불확실성, 데이터 불확실성 분해를 사용: $\mathbb{H}[y|\mathbf{x},\mathcal{D}] = \mathbb{I}[y,\boldsymbol{\omega}|\mathbf{x},\mathcal{D}] + \mathbb{E}_{p(\omega|\mathcal{D})}[\mathbb{H}[y|\mathbf{x},\boldsymbol{\omega}]]$.
• OOD 탐지 시나리오를 시뮬레이션하기 위해 학습에서 세 가지 세포 유형(B 세포, 호산구, 이온세포)을 제외시켰다.
• OOD 대 역분포 분류 성능 평가를 위해 AUPR를 사용하였으며, 예측 불확실성과 모델 불확실성에 대해 별도 평가를 실시하였다.
• 보이는 세포 유형과 보이지 않는 세포 유형의 불확실성 밀도 간의 차이를 와서스타인 거리로 측정하였다.
• 유전자 발현의 생물학적 및 기술적 변동을 포함한 도메인 이동 상황에서 모델의 校정성과 강건성 평가를 수행하였다.

실험 결과

연구 질문

• RQ1 불확실성 정량화 방법은 단일세포 레퍼런스 아틀라스에서 세포 유형 전이의 신뢰성과 해석 가능성 향상에 기여할 수 있는가?
• RQ2 WKNN, RF, DKL, MIMO 등의 다양한 모델 클래스가 데이터셋 이동 상황에서 校정성, 강건성, 불확실성 품질 측면에서 어떻게 비교되는가?
• RQ3 불확실성 추정치는 레퍼런스 아틀라스에 존재하지 않는 새로운 세포 유형을 효과적으로 탐지할 수 있는가?
• RQ4 예측 불확실성, 모델 불확실성, 소프트맥스 신뢰도 중 어느 것이 가장 실질적이고 신뢰할 수 있는 OOD 탐지 성능을 제공하는가?
• RQ5 모델 불확실성과 데이터 불확실성을 분리하는 모델은 새로운 또는 희귀 세포 상태를 식별하는 데 더 뛰어난 성능을 보이는가?

주요 결과

• DKL 및 MIMO 모델은 예측 불확실성 사용 시 B 세포에 대해 93±3%, 마스터 세포에 대해 95±1%의 AUPR 점수를 기록하여 WKNN의 61±2% 및 83±1%를 크게 앞서며, 유의미하게 뛰어난 성능을 보였다.
• MIMO 8의 모델 불확실성은 B 세포에 대해 93±1%의 AUPR를 기록했고, 이온세포에 대해선 82±6%를 기록하여 WKNN의 51±1% 및 12±1%보다 훨씬 뛰어난 OOD 탐지 능력을 보였다.
• DKL은 예측 불확실성 사용 시 B 세포 및 이온세포에서 MIMO 8보다 더 높은 AUPR를 기록하여, 예측 불확실성의 校정성이 더 우수함을 시사하지만, 모델 불확실성 성능는 열 劣하다.
• MIMO 8의 모델 불확실성은 모델 불확실성과 데이터 불확실성을 더 잘 분리함을 입증하며, 이는 모델 불확실성 기반 OOD 탐지 성능 향상에 기여하였다.
• WKNN 및 소프트맥스 신뢰도는 대부분의 새로운 세포 유형에서 60% 이하의 AUPR 점수를 기록하여 불확실성 추정이 열악하게 校정되어 있어 새로운 세포 상태 탐지에 활용도가 낮았다.
• 결과적으로, DKL 및 MIMO와 같은 불확실성 정량화 모델은 새로운 세포 유형을 식별하고 아틀라스 수준의 세포 유형 전이에서 실질적인 신뢰도 추정을 제공하는 데 더 적합하다.