[논문 리뷰] Teacher-Student chain for efficient semi-supervised histology image classification

Shayne Shaw, Maciej Pajak외 3명|arXiv (Cornell University)|2020. 03. 17.

AI in cancer detection참고 문헌 14인용 수 24

한 줄 요약

이 논문은 반감독 히스토그램 이미지 분류를 위한 테이처-스터디 체인 프레임워크를 제안한다. 여기서 각 스투디언트 모델은 이전 모델의 예측 결과로부터 생성된 가짜 레이블을 학습하고, 소량의 레이블된 데이터로 미세조정된다. 레이블된 데이터를 0.5%만 사용함으로써, 전적으로 레이블된 데이터 100%로 훈련된 완전한 감독 모델과 동일한 정확도를 달성하며, 디지털 병리학에서의 레이블링 부담을 크게 줄였다.

ABSTRACT

Deep learning shows great potential for the domain of digital pathology. An automated digital pathology system could serve as a second reader, perform initial triage in large screening studies, or assist in reporting. However, it is expensive to exhaustively annotate large histology image databases, since medical specialists are a scarce resource. In this paper, we apply the semi-supervised teacher-student knowledge distillation technique proposed by Yalniz et al. (2019) to the task of quantifying prognostic features in colorectal cancer. We obtain accuracy improvements through extending this approach to a chain of students, where each student's predictions are used to train the next student i.e. the student becomes the teacher. Using the chain approach, and only 0.5% labelled data (the remaining 99.5% in the unlabelled pool), we match the accuracy of training on 100% labelled data. At lower percentages of labelled data, similar gains in accuracy are seen, allowing some recovery of accuracy even from a poor initial choice of labelled training set. In conclusion, this approach shows promise for reducing the annotation burden, thus increasing the affordability of automated digital pathology systems.

연구 동기 및 목표

• 히스토그램 이미지에서 딥 러닝 모델을 훈련할 때 전문 병리학자가 부족하고 비용이 많이 드는 데서 비롯되는 높은 레이블링 비용을 줄이기 위해.
• 큰 레이블되지 않은 히스토그램 데이터셋과 소량의 레이블된 세트를 활용하여 디지털 병리학에서의 모델 정확도를 향상시키기 위해.
• Yalniz 등(2019)의 반감독 지식 정복 기법을 더 나아가 성능과 내구성을 향상시키기 위해 학생 모델의 사슬으로 확장하기 위해.
• 의료 영상 분류를 위한 가짜 레이블 필터링 하이퍼파라미터(K 및 P)를 최적화하여 레이블링-정확도 트레이드오프를 향상시키기 위해.

제안 방법

• 먼저 소량의 레이블된 샘플(결장 히스토그램 파ッチ)으로 구성된 데이터셋에서 테이처 모델을 훈련한다.
• 테이처 모델은 큰 레이블되지 않은 데이터셋에 대해 소프트 가짜 레이블을 생성하며, 이는 각 클래스별 상위 K개의 신뢰도 점수를 사용해 필터링된다.
• 학생 모델은 필터링된 가짜 레이블 데이터로 사전 훈련된 후 원래의 레이블된 세트로 미세조정된다.
• 이 과정은 반복적으로 수행되며, 미세조정된 학생 모델이 새로운 테이처가 되어 다음 학생 모델을 위한 개선된 가짜 레이블을 생성한다.
• 체인은 반복적으로 훈련되며, 각 후속 학생 모델은 이전 모델의 성능을 향상시킨다.
• 하이퍼파라미터 K와 P는 검증 세트에서 최적화되며, 각 클래스당 K=4000이 높은 신뢰도 예측을 필터링하는 데 최적임이 밝혀졌다.

실험 결과

연구 질문

• RQ1 진행적으로 정련된 가짜 레이블을 기반으로 훈련된 학생 모델의 사슬이 소량의 레이블된 세트로 훈련된 감독 학습을 초월해 분류 정확도를 향상시킬 수 있는가?
• RQ2 히스토그램 이미지 분류에서 레이블된 데이터의 양이 감소함에 따라 테이처-스터디 체인의 성능은 어떻게 변화하는가?
• RQ3 의료 영상 반감독 학습을 위한 가짜 레이블 필터링 하이퍼파라미터(K 및 P)의 최적 구성은 무엇인가?
• RQ4 체인 내 반복적인 정련 과정은 초기 레이블된 데이터 선택이 열악할 경우 악영향을 완화하는가?
• RQ5 레이블된 데이터의 일부만 사용할 경우, 체인 접근 방식은 표준 감독 훈련 대비 정확도에서 어떻게 비교되는가?

주요 결과

• 레이블된 데이터를 0.5%만 사용함으로써, 테이처-스터디 체인은 100% 레이블된 데이터로 훈련된 완전한 감독 모델과 동일한 테스트 정확도를 달성했다.
• 레이블된 데이터를 1% 사용할 경우, 체인 내 최고의 학생 모델이 20% 레이블된 데이터로 훈련된 테이처 모델를 능가했다.
• 체인은 어려운 클래스인 부패물, 근육, 정상, 기질에 대해 반복적으로 성능 향상을 보이며 변동성을 감소시켰다.
• 각 클래스당 K=4000(가장 높은 신뢰도 예측의 상위 80%)로 가짜 레이블을 필터링함으로써 약간이지만 일관된 성능 향상이 있었다.
• 최초의 레이블된 세트가 최적의 조건이 아니더라도 이에 대비해 뛰어난 내구성을 보였으며, 체인을 사용함으로써 여러 런에 걸쳐 일관된 정확도 향상이 이루어졌다.
• 성능 향상은 누적되었으며, 체인 내 각 반복 단계에서 평균 정확도가 높아졌지만, 최적의 반복 횟수는 런에 따라 달라졌다.