[논문 리뷰] Learn like a Pathologist: Curriculum Learning by Annotator Agreement for Histopathology Image Classification

Jerry Wei, Arief A. Suriawinata외 11명|arXiv (Cornell University)|2020. 09. 29.

AI in cancer detection참고 문헌 40인용 수 7

한 줄 요약

이 논문은 이질적 평가자 간 일치도를 예시 난이도의 대체 지표로 사용하여 점진적으로 복잡도가 높아지는 영상으로 모델을 훈련하는 히스토파스 toll로지 영상 분류를 위한 커리큘럼 학습 방법을 제안한다. 대장 폴립 분류 작업에서 이 방법은 AUC를 기준선의 83.7%에서 88.2%로 향상시켜 평균 병리학자 성능을 초월한다.

ABSTRACT

Applying curriculum learning requires both a range of difficulty in data and a method for determining the difficulty of examples. In many tasks, however, satisfying these requirements can be a formidable challenge. In this paper, we contend that histopathology image classification is a compelling use case for curriculum learning. Based on the nature of histopathology images, a range of difficulty inherently exists among examples, and, since medical datasets are often labeled by multiple annotators, annotator agreement can be used as a natural proxy for the difficulty of a given example. Hence, we propose a simple curriculum learning method that trains on progressively-harder images as determined by annotator agreement. We evaluate our hypothesis on the challenging and clinically-important task of colorectal polyp classification. Whereas vanilla training achieves an AUC of 83.7% for this task, a model trained with our proposed curriculum learning approach achieves an AUC of 88.2%, an improvement of 4.5%. Our work aims to inspire researchers to think more creatively and rigorously when choosing contexts for applying curriculum learning.

연구 동기 및 목표

• 신경망 훈련에서 적절한 난이도 순서를 식별하는 과제를 해결하기 위해, 특히 난이도 순서가 명확하지 않은 의료 영상 분야에서의 도전에 대응한다.
• 질병 진행의 본질적 특성과 다중 평가자 레이블링이 존재하므로, 병리학 영상 분류가 커리큘럼 학습에 자연스럽게 부합하는지 탐색한다.
• 모델 아키텍처 수정 없이도 간단하고 구현 가능한 커리큘럼 학습 방법을 제안하고 평가하며, 평가자 간 일치도를 난이도의 대체 지표로 사용한다.
• 이 방법이 임상적으로 관련성이 있고 진단적으로 도전적인 과제인 대장 폴립 분류 과제에서 모델 성능을 향상시킬 수 있음을 입증한다.

제안 방법

• 이 방법은 평가자 간 일치도로 병리학 영상을 순위 매기며, 높은 일치도를 가진 영상은 더 쉬운 예시로 간주하고 낮은 일치도를 가진 영상은 더 어려운 예시로 간주한다.
• 훈련은 단계별로 진행되며, 먼저 평가자 간 일치도가 높은 영상(가장 쉬운 영상)부터 시작하여 점차 일치도가 낮아지는 영상들을 후속 단계에 포함시킨다.
• 이 방법은 모델 아키텍처의 변경이 필요 없으며, 기존의 평가자 레이블만으로도 충분하므로, 다수의 병리학자가 레이블링한 데이터셋에 쉽게 적용할 수 있다.
• 저자는 이 방법을 confidence 기반 방법과 self-defined hard/easy 분할 방법 두 가지 이전의 난이도 스코어링 방법과 비교하였으며, 주요 평가 지표로 AUC를 사용하였다.
• 이 방법은 일곱 명의 병리학자가 제공한 레이블 기반으로 네 수준의 평가자 간 일치도 분류를 사용하여 커리큘럼 단계를 정의하였으며, 성능은 보류된 테스트 세트에서 평가되었다.
• 이 방법은 718개의 영상으로 구성된 대장 폴립 분류 데이터셋에서 평가되었으며, ResNet-50 백본과 표준 훈련 프로토콜을 사용하였다.

실험 결과

연구 질문

• RQ1 병리학 영상 레이블링에서의 평가자 간 일치도가 커리큘럼 학습에서 예시 난이도의 신뢰할 수 있는 대체 지표가 될 수 있는가?
• RQ2 평가자 간 일치도 기반 커리큘럼 학습이 표준 훈련 대비 도전적인 병리학 영상 분류 과제에서 성능을 향상시키는가?
• RQ3 이전에 제안된 난이도 스코어링 방법과 비교했을 때, 제안된 방법의 성능 향상은 어떻게 나타나는가?
• RQ4 커리큘럼 학습에서의 성능 향상은 임상적으로 의미 있는가, 특히 병리학자 수준의 성능과 비교했을 때?
• RQ5 평가자 간 일치도 수준의 수가 성능 향상의 정도에 영향을 미치는가?

주요 결과

• 제안된 커리큘럼 학습 방법은 대장 폴립 분류 과제에서 AUC 88.2%를 달성하여 기준선 모델의 AUC 83.7%보다 4.5%포인트 향상시켰다.
• 이 방법은 동일한 테스트 세트에서 평균 병리학자 평가자보다 코HEN의 카파 값에서 뛰어난 일반화 능력과 일관성을 보였다.
• 평가자 간 일치도를 네 수준으로 나누어 적용한 결과 AUC가 4.5% 향상되었고, 두 수준의 굵은 일치도 분류 방법은 오직 1.5%의 향상에 그쳤다. 이는 더 세밀한 난이도 순위 매김이 성능 향상에 기여함을 시사한다.
• 커리큘럼 학습에서의 성능 향상은 임상적으로 의미 있는 성과로 이어졌으며, 이는 이 방법으로 훈련된 모델이 진단 의사결정 지원에 기여할 수 있음을 시사한다.
• 결과적으로 병리학 영상 분류가 자연스러운 질병 진행과 풍부한 다중 평가자 데이터가 존재하므로 커리큘럼 학습에 매우 적합한 후보임을 시사한다.
• 이 방법은 단순하며 모델 수정이 필요 없으며, 쉽게 확보 가능한 평가자 간 일치도 데이터를 활용하므로, 유사한 의료 영상 과제에 널리 적용 가능하다.