[논문 리뷰] Fine-Tuning and Training of DenseNet for Histopathology Image Representation Using TCGA Diagnostic Slides

Abtin Riasatian, Morteza Babaie외 20명|arXiv (Cornell University)|2021. 01. 20.

AI in cancer detection참고 문헌 48인용 수 13

한 줄 요약

이 논문은 TCGA 전체 슬라이드 이미지에서 20× 고배율의 조직병리학적 이미지 패치 약 24만 개를 대상으로 약한 레이블을 활용한 고세포 밀도 모자이크 방법으로 얻은 레이블을 사용해, DenseNet 기반의 KimiaNet을 제안한다. KimiaNet은 사전 훈련된 DenseNet과 더 작은 맞춤형 컨볼루션 네트워크보다 이미지 분류 및 검색 작업에서 뛰어난 성능을 보이며, 도메인 특화 미세조정이 디지털 병리학에서 깊이 있는 특징 표현을 크게 향상시킨다는 것을 입증한다.

ABSTRACT

Feature vectors provided by pre-trained deep artificial neural networks have become a dominant source for image representation in recent literature. Their contribution to the performance of image analysis can be improved through finetuning. As an ultimate solution, one might even train a deep network from scratch with the domain-relevant images, a highly desirable option which is generally impeded in pathology by lack of labeled images and the computational expense. In this study, we propose a new network, namely KimiaNet, that employs the topology of the DenseNet with four dense blocks, fine-tuned and trained with histopathology images in different configurations. We used more than 240,000 image patches with 1000x1000 pixels acquired at 20x magnification through our proposed "highcellularity mosaic" approach to enable the usage of weak labels of 7,126 whole slide images of formalin-fixed paraffin-embedded human pathology samples publicly available through the The Cancer Genome Atlas (TCGA) repository. We tested KimiaNet using three public datasets, namely TCGA, endometrial cancer images, and colorectal cancer images by evaluating the performance of search and classification when corresponding features of different networks are used for image representation. As well, we designed and trained multiple convolutional batch-normalized ReLU (CBR) networks. The results show that KimiaNet provides superior results compared to the original DenseNet and smaller CBR networks when used as feature extractor to represent histopathology images.

연구 동기 및 목표

• 도메인 특화 미세조정 및 훈련을 통해 조직병리학 이미지의 깊이 있는 특징 표현을 향상시키기 위해.
• 전체 슬라이드 이미지에서 유도된 약한 레이블을 활용하여 디지털 병리학에서 레이블이 제한된 데이터 문제를 해결하기 위해.
• ImageNet 사전 훈련 모델을 사용한 전이 학습과 비교해, 조직병리학 데이터에서 미세조정 또는 처음부터 훈련하는 것이 더 나은 성능을 내는지 평가하기 위해.
• 픽셀 수준의 애너테이션 없이 고해상도 병리학 이미지에 대해 깊이 신경망을 훈련시키는 가용성 있고 재현 가능한 방법을 개발하기 위해.

제안 방법

• 20× 배율의 전체 슬라이드 이미지에서 1000×1000 픽셀 패치를 생성하기 위해 고세포 밀도 모자이크 방법을 사용하여, 훈련에 WSI 수준의 레이블을 활용할 수 있도록 하였다.
• 네 개의 밀도 블록을 가진 DenseNet 기반의 KimiaNet이 TCGA에서 유래한 24만 개 이상의 조직병리학 패치에서 미세조정 및 처음부터 훈련되었다.
• 모델은 7,126개의 전체 슬라이드 이미지에서 유도된 약한 레이블을 사용하여 훈련되었으며, 픽셀 수준의 애너테이션을 피하기 위해 사용되었다.
• 비교를 위해 여러 개의 더 작은 컨볼루션 배치 정규화 ReLU(CBR) 네트워크(Small, LargeT, LargeW, 그리고 다섯 개 블록으로 수정된 Small)를 구현하고 처음부터 훈련하였다.
• CBR 네트워크의 최종 완전 연결 레이어 이전에 밀도 레이어를 추가하여 특징 성능을 향상시켰다.
• 수평 및 수직 이미지 검색 및 분류 작업을 수행하기 위해 TCGA, 자궁내막암, 대장암의 세 개의 공개 데이터셋에서 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 ImageNet 사전 훈련 모델을 사용하는 것과 비교해, 조직병리학 이미지에서 DenseNet을 미세조정하거나 처음부터 훈련하는 것이 더 나은 이미지 표현을 제공하는가?
• RQ2 픽셀 수준의 애너테이션 없이 전체 슬라이드 이미지에서 유도된 약한 레이블을 효과적으로 활용하여 깊이 신경망을 훈련시킬 수 있는가?
• RQ3 특징 추출기로 사용했을 때, KimiaNet은 더 작은 맞춤형 CBR 네트워크와 비교해 성능에서 어떻게 뛰어나게 되는가?
• RQ4 고세포 밀도 모자이크 패치 생성 방식이 디지털 병리학에서 모델 일반화 능력과 특징 품질에 어떤 영향을 미치는가?

주요 결과

• KimiaNet은 수평 이미지 검색에서 두 번째로 높은 성능을 보인 LargeT 모델보다 평균 정확도가 30% 높았으며, 12개 클래스 전반에 걸쳐 매우 일관된 성능을 보였다.
• 수직 검색에서 KimiaNet은 26개 클래스 중 23개에서 최고의 F1 스코어를 기록했으며, 평균 및 최대 F1 스코어 모두에서 모든 다른 모델을 압도했다.
• KimiaNet의 평균 F1 스코어는 두 번째로 높은 성능을 보인 LargeW 모델보다 10% 높았으며, 표준편차가 가장 낮아 안정성이 뛰어났다.
• KimiaNet은 분류 및 검색 작업 모두에서 원본 ImageNet 사전 훈련된 DenseNet 및 모든 더 작은 CBR 네트워크를 뛰어넘는 성능을 보였다.
• 최종 완전 연결 레이어 이전에 밀도 레이어를 추가하는 것이 CBR 네트워크 성능에 결정적인 영향을 미쳤으며, 이는 특징 품질을 크게 향상시켰다.
• 고세포 밀도 모자이크 방법은 약한 레이블의 효과적인 활용을 가능하게 했고, 특정 조직학적 특징에 대한 잠재적 편향이 존재하더라도 대규모 훈련을 촉진시켰다.