[논문 리뷰] Virtual histological staining of unlabeled autopsy tissue

Yuzhu Li, Nir Pillar외 13명|arXiv (Cornell University)|2023. 08. 02.

Molecular Biology Techniques and Applications인용 수 4

한 줄 요약

이 연구는 자가형광 이미지를 이용해 라벨링되지 않은, 자가분해가 진행된 부검 조직을 고정밀도의 H&E 유사 가상 염색으로 변환하는 딥러닝 기반 가상 조직염색 기법을 제안한다. 이는 지연된 고정으로 인한 염색 잡음 문제를 제거한다. 데이터 효율적인 등록 통합 신경망을 사용해 0.7TB의 정렬된 이미지 데이터를 기반으로 훈련한 모델은 심한 자가분해가 진행된 조직, 특히 전통적 염색이 실패한 코로나19 사망자에서의 샘플까지도 잡음이 없는 진단에 유용한 가상 H&E 이미지를 성공적으로 생성한다.

ABSTRACT

Histological examination is a crucial step in an autopsy; however, the traditional histochemical staining of post-mortem samples faces multiple challenges, including the inferior staining quality due to autolysis caused by delayed fixation of cadaver tissue, as well as the resource-intensive nature of chemical staining procedures covering large tissue areas, which demand substantial labor, cost, and time. These challenges can become more pronounced during global health crises when the availability of histopathology services is limited, resulting in further delays in tissue fixation and more severe staining artifacts. Here, we report the first demonstration of virtual staining of autopsy tissue and show that a trained neural network can rapidly transform autofluorescence images of label-free autopsy tissue sections into brightfield equivalent images that match hematoxylin and eosin (H&E) stained versions of the same samples, eliminating autolysis-induced severe staining artifacts inherent in traditional histochemical staining of autopsied tissue. Our virtual H&E model was trained using >0.7 TB of image data and a data-efficient collaboration scheme that integrates the virtual staining network with an image registration network. The trained model effectively accentuated nuclear, cytoplasmic and extracellular features in new autopsy tissue samples that experienced severe autolysis, such as COVID-19 samples never seen before, where the traditional histochemical staining failed to provide consistent staining quality. This virtual autopsy staining technique can also be extended to necrotic tissue, and can rapidly and cost-effectively generate artifact-free H&E stains despite severe autolysis and cell death, also reducing labor, cost and infrastructure requirements associated with the standard histochemical staining.

연구 동기 및 목표

• 지연된 고정으로 인한 자가분해로 인한 부검 조직에서의 낮은 염색 품질 문제를 해결한다.
• 부검 워크플로우에서 전통적인 조직화학적 염색이 자원 소모가 크고 시간이 오래 걸리며 노동력이 많이 필요한 문제를 해결한다.
• 인공지능을 활용해 화학적 H&E 염색의 비용 효율적이고 신속하며 확장 가능한 대체 방법을 개발한다.
• 조직병리학 서비스가 과부하가 걸린 글로벌 보건 위기 상황에서도 신뢰할 수 있는 조직병리학 진단을 가능하게 한다.
• 심한 자가분해가 진행된 조직, 특히 코로나19 사망자에서의 샘플을 대상으로 가상 염색의 가능성을 입증한다.

제안 방법

• 전체 슬라이드 이미지(WSI) 수준에서 최대 상관관계를 사용한 강체 정렬을 수행한 후, 패치 수준(3248×3248 px)에서 다중 모odal 애핀 정렬을 통해 자가형광 이미지와 H&E 이미지를 정렬하는 이중 단계의 이미지 정렬 파이프라인을 사용했다.
• 최소한의 처리 지연가 있는 부검 조직에서 16,159개의 정렬된 이미지 쌍(중앙 자르기 후 2048×2048 px)을 사용해 데이터 효율적인 프레임워크를 통합한 정렬 및 염색 네트워크를 기반으로 딥 네ural 네트워크(DNN)를 훈련시켰다.
• 훈련 중 256×256 px 패치에 대해 무작위 뒤집기 및 회전을 통한 데이터 증강을 적용했으며, 평균이 0이고 분산이 1이 되도록 정규화를 수행했다.
• 특정 필터 큐브를 사용해 sCMOS 카메라(Leica DFC 9000 GTC)를 활용해 DAPI 노출 시간 100 ms 및 TxRed 노출 시간 300 ms에서 자가형광 이미지를 촬영했다.
• 지상 진단 데이터를 확보하기 위해 밝은광 슬라이드 스캐너(Leica Aperio AT2)를 사용해 조직화학적 H&E 슬라이드를 디지털화했다.
• 가상 염색 정밀도를 최적화하기 위해 맞춤형 손실 함수와 훈련 스케줄을 포함한 RegiStain 프레임워크를 구현했다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 라벨링되지 않은 부검 조직의 자가형광 이미지를 전통적 조직화학적 염색 수준의 품질을 갖춘 가상 H&E 염색으로 정확하게 변환할 수 있는가?
• RQ2 제안된 가상 염색 방법은 부검 조직에서 자가분해로 인한 염색 잡음 문제를 어느 정도 감소시키는가?
• RQ3 가상 염색 모델은 심한 자가분해가 진행된 조직, 예를 들어 코로나19 사망자에서의 조직에서 핵 및 세 cytoplasmic 특징의 진단 일관성을 유지하는가?
• RQ4 가상 염색 접근법은 전통적 H&E 염색과 유사한 정량적 조직학적 지표(예: 핵 수, 크기)를 달성할 수 있는가?
• RQ5 이미지 정렬을 가상 염색 네트워크와 통합함으로써, 도전적인 비표준 부검 조직 샘플에서의 성능 향상은 어떻게 이루어지는가?

주요 결과

• 가상 H&E 모델은 전통적 H&E 염색이 실패한 심한 자가분해가 진행된 부검 조직, 특히 코로나19 사망자에서의 샘플까지도 진단 수준의 염색 품질을 달성했다. 이는 낮은 염료 결합 및 염색 잡음으로 인한 실패 때문이었다.
• 쌍체 t-검정 결과, 가상 염색 이미지와 조직화학적 염색 이미지 간에 시야당 핵 수와 평균 핵 크기에서 통계적으로 유의미한 차이가 없었음(p > 0.05)을 확인하여 높은 정량적 일致성을 입증했다.
• 병리학자 평가 결과, 가상 염색과 전통적 H&E 염색 간에 염색 품질 지표에 유의미한 차이가 없었으며, 이는 시각적 평가에서 진단 동등성을 확인했다.
• 모델은 자가분해가 심한 조직, 예를 들어 세포소포화와 세 cytoplasmic 기피성과 같은 특징을 효과적으로 강조하여 전통적 염색에서 흔히 발생하는 혼란 요소를 해결했다.
• 훈련 데이터셋은 0.7TB 이상의 이미지 데이터로 구성되었으며, 이 중 16,159개의 정렬된 이미지 쌍이 모델 훈련에 사용되어, 예측 불가능한 부검 샘플에 대한 강력한 일반화 능력을 확보했다.
• 화학적 시약, 염색 절차, 전용 실험실 시설이 필요 없는 전통적 조직병리학 워크플로우에서의 노동, 비용, 인프라 요구를 크게 줄였다.