[논문 리뷰] Automatic labeling of molecular biomarkers of whole slide immunohistochemistry images using fully convolutional networks

Fahime Sheikhzadeh, Martial Guillaud외 1명|arXiv (Cornell University)|2016. 12. 30.

AI in cancer detection참고 문헌 5인용 수 9

한 줄 요약

이 논문은 전체 슬라이드 면역조직화학(IHC) 영상에서 분자 생물학적 바이오마커를 자동으로 국소화하고 정량화하기 위해 풀 컨볼루션 네트워크(FCN) 기반의 딥러닝 방법을 제안한다. 수작업으로 레이블링된 4,500개의 세포 영상으로 훈련되어 92%의 정확도를 기록한 모델은 전체 슬라이드에 걸쳐 바이오마커 지도를 생성하며, 수작업 기반 참값과 비교해 평균 F-스코어 0.96을 달성하여 자동 IHC 분석에서 높은 정확도를 입증한다.

ABSTRACT

This paper addresses the problem of quantifying biomarkers in multi-stained tissues, based on color and spatial information. A deep learning based method that can automatically localize and quantify the cells expressing biomarker(s) in a whole slide image is proposed. The deep learning network is a fully convolutional network (FCN) whose input is the true RGB color image of a tissue and output is a map of the different biomarkers. The FCN relies on a convolutional neural network (CNN) that classifies each cell separately according to the biomarker it expresses. In this study, images of immunohistochemistry (IHC) stained slides were collected and used. More than 4,500 RGB images of cells were manually labeled based on the expressing biomarkers. The labeled cell images were used to train the CNN (obtaining an accuracy of 92% in a test set). The trained CNN is then extended to an FCN that generates a map of all biomarkers in the whole slide image acquired by the scanner (instead of classifying every cell image). To evaluate our method, we manually labeled all nuclei expressing different biomarkers in two whole slide images and used theses as the ground truth. Our proposed method for immunohistochemical analysis compares well with the manual labeling by humans (average F-score of 0.96).

연구 동기 및 목표

• 다중염색된 전체 슬라이드 IHC 영상에서 바이오마커의 수작업 기반 시간 소모적인 정량화 문제를 해결하기 위해.
• 색상과 공간 정보를 활용하여 바이오마커 발현 세포를 탐지하고 정량화하는 자동화된 방법을 개발하기 위해.
• 훈련된 컨볼루션 신경망(CNN)을 전체 슬라이드 바이오마커 매핑을 위해 풀 컨볼루션 네트워크(FCN)로 확장하기 위해.
• 전체 슬라이드 영상에서 전문가가 레이블링한 기반 참값과의 비교를 통해 성능을 평가하기 위해.

제안 방법

• 전체 슬라이드 IHC 슬라이드에서 수작업으로 레이블링된 4,500개의 RGB 세포 영상으로 풀 컨볼루션 네트워크(FCN)를 훈련한다.
• 네트워크는 바이오마커 발현에 따라 각 세포를 분류하기 위해 컨볼루션 신경망(CNN)을 사용한다.
• 훈련된 CNN을 FCN로 변환하여 전체 전체 슬라이드 영상에 걸쳐 연속적인 바이오마커 확률 지도를 생성한다.
• 원본 RGB 조직 영상의 공간적 및 색상 특징에 기반하여 픽셀 수준 해상도에서 바이오마커 발현을 예측한다.
• FCN는 전체 슬라이드에 걸쳐 발현 가능성의 정도를 나타내는 바이오마커별 지도를 출력한다.
• 성능는 두 개의 전체 슬라이드 영상에서 FCN 예측값을 수작업으로 레이블링된 세포핵과 비교하여 검증한다.

실험 결과

연구 질문

• RQ1 RGB 입력만을 사용하여 딥러닝 모델이 전체 슬라이드 IHC 영상에서 바이오마커 발현 세포를 정확하게 국소화하고 정량화할 수 있는가?
• RQ2 FCN 기반 접근법은 패치 수준의 세포 분류에서 전체 슬라이드 바이오마커 매핑으로의 일반화 능력이 얼마나 뛰어난가?
• RQ3 전문가가 수작업으로 레이블링한 결과와 비교해 자동화된 방법의 성능는 어떠한가?
• RQ4 IHC 영상의 색상과 공간적 특징이 신뢰할 수 있는 바이오마커 탐지에 얼마나 기여하는가?

주요 결과

• CNN은 수작업으로 레이블링된 4,500개의 세포 영상로 구성된 검증 세트에서 92%의 분류 정확도를 기록하였다.
• FCN 기반 방법은 수작업 기반 참값과 비교해 평균 F-스코어 0.96을 기록하며 전체 슬라이드에 걸쳐 바이오마커 지도를 생성하였다.
• 이 방법은 패치 수준의 세포 분류를 전체 슬라이드 추론으로 성공적으로 확장하였으며, 높은 공간 해상도와 정확도를 유지하였다.
• 모델은 개별 세포 패치에서 복잡한 조직 구조를 포함한 전체 슬라이드 영상으로의 강력한 일반화 능력을 보였다.