[논문 리뷰] High Accuracy Tumor Diagnoses and Benchmarking of Hematoxylin and Eosin Stained Prostate Core Biopsy Images Generated by Explainable Deep Neural Networks

Aman Rana, Alarice Lowe외 8명|arXiv (Cornell University)|2019. 08. 02.

AI in cancer detection참고 문헌 22인용 수 8

한 줄 요약

이 논문은 조건부 생성 적대 신경망(cGANs)을 사용하여 원천적인 비염색 RGB 전체 슬라이드 이미지(RWSI)를 고해상도 헤마토실린과 이오신(H&E)-유사 이미지로 계산적으로 염색하는 설명 가능하고 딥러닝 기반의 프레임워크를 제시한다. 이는 SSIM 0.902, CC 0.962, PSNR 22.821 dB의 성능을 기록한다. 단일 블라인드 연구에서 다섯 명의 자격을 갖춘 병리의사들이 평가한 결과, 계산된 이미지와 황금 표준 H&E 염색 슬라이드 간에 95% 이상의 픽셀 단위 일치도를 보이며, 빠르고 파괴적이지 않은 종양 진단의 높은 정확성과 임상적 타당성을 입증한다.

ABSTRACT

Histopathological diagnoses of tumors in tissue biopsy after Hematoxylin and Eosin (H&E) staining is the gold standard for oncology care. H&E staining is slow and uses dyes, reagents and precious tissue samples that cannot be reused. Thousands of native nonstained RGB Whole Slide Image (RWSI) patches of prostate core tissue biopsies were registered with their H&E stained versions. Conditional Generative Adversarial Neural Networks (cGANs) that automate conversion of native nonstained RWSI to computational H&E stained images were then trained. High similarities between computational and H&E dye stained images with Structural Similarity Index (SSIM) 0.902, Pearsons Correlation Coefficient (CC) 0.962 and Peak Signal to Noise Ratio (PSNR) 22.821 dB were calculated. A second cGAN performed accurate computational destaining of H&E dye stained images back to their native nonstained form with SSIM 0.9, CC 0.963 and PSNR 25.646 dB. A single-blind study computed more than 95% pixel-by-pixel overlap between prostate tumor annotations on computationally stained images, provided by five-board certified MD pathologists, with those on H&E dye stained counterparts. We report the first visualization and explanation of neural network kernel activation maps during H&E staining and destaining of RGB images by cGANs. High similarities between kernel activation maps of computational and H&E stained images (Mean-Squared Errors <0.0005) provide additional mathematical and mechanistic validation of the staining system. Our neural network framework thus is automated, explainable and performs high precision H&E staining and destaining of low cost native RGB images, and is computer vision and physician authenticated for rapid and accurate tumor diagnoses.

연구 동기 및 목표

• 염료 기반 염색에 의존도를 줄이기 위해 원천적인 비염색 전립선 생검 슬라이드 이미지에 대해 자동화되고 설명 가능하며 고정밀도의 계산적 H&E 염색 방법을 개발한다.
• 원천적인 자외선 발광 RWSI를 사용해 영구적인 염료 염색을 대체하는 계산적 염색을 통해 조직 샘플을 손상 없이 재사용 가능하게 한다.
• 정량적 메트릭스(SSIM, CC, PSNR)와 병리의사가 검증한 종양 주석을 통해 생성된 H&E 유사 이미지의 품질을 기준화한다.
• 계산된 H&E 슬라이드와 실제 H&E 슬라이드 간의 신경망 커널 활성화 맵을 시각화하고 비교하여 기계적 해석 가능성을 제공한다.
• 조기 암 진단과 바이오마커 검사를 지원하는 임상 적용이 가능한 가상 염색 파이프라인을 수립한다.

제안 방법

• 원천적인 비염색 RWSI와 해당 H&E 염색 슬라이드 간의 계층적 비선형 매핑을 학습하기 위해 조건부 생성 적대 신경망(cGANs)을 훈련시켰다.
• 엔드 투 엔드 훈련을 위해 탈파라핀 처리된 전립선 생검 RWSI 패치와 그에 해당하는 H&E 염색 슬라이드를 대규모 데이터셋으로 활용했다.
• 계산된 이미지와 기준 H&E 슬라이드 간의 이미지 정합도를 정량적으로 평가하기 위해 구조적 유사도 지수(SSIM), 피어슨 상관계수(CC), 피크 신호 대 잡음 비율(PSNR)을 적용했다.
• 두 번째 cGAN을 사용해 H&E 염색 슬라이드에서 원천적인 비염색 이미지를 재구성함으로써 계산적 탈염색을 수행했으며, 이는 SSIM 0.90, CC 0.963, PSNR 25.646 dB의 성능을 기록했다.
• 다섯 명의 자격을 갖춘 병리의사가 참가한 단일 블라인드 연구를 통해 계산된 이미지와 실제 H&E 슬라이드 간의 종양 주석을 비교함으로써 임상적 관련성을 검증했다.
• cGANs에서 생성된 커널 활성화 맵을 생성하고 분석하여 염색 및 탈염색 과정의 내부 메커니즘을 기계적으로 설명하였으며, 계산된 H&E 맵과 실제 H&E 맵 간의 평균 제곱 오차는 0.0005 이하였다.

실험 결과

연구 질문

• RQ1 cGANs는 원천적인 비염색 RWSI에서 고시각적 및 통계적으로 정밀한 H&E 유사 이미지를 생성할 수 있는가?
• RQ2 전문 병리의사가 평가한 바에 따르면, 계산적으로 염색된 이미지의 종양 주석이 황금 표준 H&E 염색 슬라이드의 주석과 어느 정도 일치하는가?
• RQ3 신경망의 내부 표현(커널 활성화 맵)을 활용해 모델의 행동을 설명하고 검증할 수 있는가?
• RQ4 정량적 이미지 품질 메트릭스 측면에서 계산적 염색은 전통적인 H&E 염색보다 어떤 성능을 보이는가?
• RQ5 계산적 염색과 탈염색은 진단 정확도를 유지하면서도 후속 바이오마커 검사를 위한 조직을 보존하는 데 사용될 수 있는가?

주요 결과

• 계산적 H&E 염색 모델은 구조적 유사도 지수(SSIM) 0.902, 피어슨 상관계수(CC) 0.962, 피크 신호 대 잡음 비율(PSNR) 22.821 dB의 성능을 기록하여 높은 이미지 정합도를 입증했다.
• 계산적 탈염색 모델은 SSIM 0.900, CC 0.963, PSNR 25.646 dB의 성능을 기록하여 원천적인 비염색 이미지의 고품질 재구성을 입증했다.
• 단일 블라인드 연구에서 다섯 명의 자격을 갖춘 병리의사가 평가한 결과, 계산된 염색 이미지의 종양 주석과 실제 H&E 슬라이드의 주석 간 픽셀 단위 일치도가 95% 이상 관찰되었다.
• 계산된 H&E 이미지와 실제 H&E 이미지의 커널 활성화 맵 간 평균 제곱 오차는 0.0005 이하였으며, 이는 모델 내부 추론의 수학적 및 기계적 검증을 제공한다.
• 병리의사가 주석한 계산된 H&E 이미지와 실제 H&E 이미지 간의 교차율(IoU) 평균은 종양 전체 평균 0.79, 건강한 조직 평균 0.90, 특정 글리슨 등급은 0.70에서 0.73 사이로 나타나 강한 일치도를 보였다.
• 임상 비교 결과, 13건의 경우 중 11건에서 원본 EHR 진단과 계산적 염색 이미지 기반 진단 간 일치도 또는 향상이 관찰되었으며, 잔여 2건의 미세한 차이는 임상적으로 의미가 없었다.