[논문 리뷰] Variability Matters : Evaluating inter-rater variability in histopathology for robust cell detection

Cholmin Kang, Chunggi Lee외 3명|arXiv (Cornell University)|2022. 10. 11.

AI in cancer detection인용 수 4

한 줄 요약

이 논문은 120명의 자격을 갖춘 병리의사들이 참여한 연구에서 앵커 병리의사를 활용하여 조직병리학 세포 주석의 상호 평가자 변동성을 측정하고 감소시키는 방법을 제안한다. 분석 결과, 낮은 변동성의 소규모 데이터셋으로 훈련된 모델이 높은 변동성의 대규모 데이터셋으로 훈련된 모델보다 성능이 뛰어나며, 세포 검출을 위한 딥러닝에서 주석 품질이 양보다 중요함을 입증한다.

ABSTRACT

Large annotated datasets have been a key component in the success of deep learning. However, annotating medical images is challenging as it requires expertise and a large budget. In particular, annotating different types of cells in histopathology suffer from high inter- and intra-rater variability due to the ambiguity of the task. Under this setting, the relation between annotators' variability and model performance has received little attention. We present a large-scale study on the variability of cell annotations among 120 board-certified pathologists and how it affects the performance of a deep learning model. We propose a method to measure such variability, and by excluding those annotators with low variability, we verify the trade-off between the amount of data and its quality. We found that naively increasing the data size at the expense of inter-rater variability does not necessarily lead to better-performing models in cell detection. Instead, decreasing the inter-rater variability with the expense of decreasing dataset size increased the model performance. Furthermore, models trained from data annotated with lower inter-labeler variability outperform those from higher inter-labeler variability. These findings suggest that the evaluation of the annotators may help tackle the fundamental budget issues in the histopathology domain

연구 동기 및 목표

• 조직병리학 세포 검출에서 상호 평가자 변동성이 딥러닝 모델 성능에 미치는 영향을 조사한다.
• 기준(앵커) 병리의사에 비해 주석자 일치도를 측정하고 정량화할 수 있는 확장 가능한 방법을 개발한다.
• 선택적 데이터 정제를 통한 상호 평가자 변동성 감소가 모델의 일반화 및 성능 향상에 기여하는지 평가한다.
• 의료 영상 분석에서 높은 품질의 소규모 데이터셋이 대규모이고 노이즈가 많은 데이터셋을 능가할 수 있음을 입증한다.
• 전문가의 일관성을 데이터 양보다 우선시함으로써 병리 주석 작업의 예산 배분을 더 효율적으로 지원한다.

제안 방법

• 앵커 주석 프로토콜: 단일 전문가(앵커)가 12,326개의 전체 슬라이드 영상(WSI)에서 유래한 29,387개의 패치를 제어 세트로 레이블링한다.
• 120명의 병리의사가 테스트 및 제어 영상 모두를 주석 처리하였으며, 제어 영상은 일치도 점수를 계산하는 데 사용된다.
• 각 주석자의 앵커에 대한 일치도를 측정하기 위해 수정된 F1 점수(mF1)를 사용하여 상호 평가자 변동성을 정량화한다.
• 주석자들은 일치도 순으로 순위를 매기고, 백분위수(예: p0–25, p75–100)로 데이터를 분할하여 다양한 변동성 수준에서의 모델 성능을 비교한다.
• 일치도 백분위수로 그룹화된 데이터 서브셋을 기반으로 딥러닝 모델을 훈련시키고, 표준 평가 지표를 사용하여 성능을 평가하며 통계적 유의성 검정을 실시한다.
• 상호 평가자 변동성이 다른 데이터 서브셋 간의 모델 성능 차이를 검증하기 위해 통계적 비교(t-검정, α=0.05)를 실시한다.

실험 결과

연구 질문

• RQ1 조직병리학 세포 주석에서 상호 평가자 변동성이 딥러닝 모델 성능에 유의미하게 영향을 미치는가?
• RQ2 기준(앵커) 병리의사를 활용하여 주석자 일치도를 객관적으로 측정하고 순위를 매길 수 있는가?
• RQ3 모델 성능 측면에서 데이터셋 크기와 주석 품질 사이에 트레이드오프가 존재하는가?
• RQ4 소규모이지만 높은 일치도를 보이는 데이터셋이 세포 검출 작업에서 대규모이고 낮은 일치도를 보이는 데이터셋을 능가할 수 있는가?
• RQ5 높은 변동성을 보이는 주석자를 제외함으로써 모델의 일반화 및 효율성은 어느 정도 향상되는가?

주요 결과

• 120명의 병리의사들 간 평균 일치도 점수는 0.70이며 표준편차는 0.08로, 상당한 상호 평가자 변동성이 있음을 나타낸다.
• 평균 코HEN의 카파 점수는 κ = 0.43으로, 주석자 간 중간 수준의 일치도를 반영하며, 범위는 -0.01에서 0.87이다.
• 가장 낮은 변동성 주석자들(p75–100)의 데이터로 훈련된 모델이 가장 높은 변동성 주석자들(p0–25)의 데이터로 훈련된 모델보다 성능이 뛰어나며, 통계적 유의성(p = 0.00614)이 입증되었다.
• 전체 데이터의 50% 미만으로도, 낮은 변동성 주석 데이터(p50–100)로 훈련된 모델이 전체 데이터셋으로 훈련된 모델보다 성능이 뛰어나며, p값은 0.00054였다.
• 상위 75% 데이터(p25–100)로 훈련된 모델은 전체 데이터셋 모델보다 유의미하게 성능이 뛰어났으며(p값 = 0.01778), 이는 변동성이 낮은 더 작은 데이터량으로도 더 나은 성능을 낼 수 있음을 보여준다.
• 높은 일치도 주석자를 선별함으로써 주석 시간을 2298시간에서 1176시간으로 약 50% 감소시킬 수 있으며, 이는 모델 성능 저하 없이 가능하다고 제안한다.