[논문 리뷰] Virtual Histology with Photon Absorption Remote Sensing using a Cycle-Consistent Generative Adversarial Network with Weakly Registered Pairs

James E. D. Tweel, Benjamin R. Ecclestone외 4명|arXiv (Cornell University)|2023. 06. 14.

Cell Image Analysis Techniques인용 수 4

한 줄 요약

이 논문은 광자 흡수 원격 감지(PARS) 현미경과 사이클-일致 생성 적대적 네트워크(CycleGAN)를 결합하여 염색이 없는 조직 절편에서 H&E 유사 가상 조직학 영상 생성을 위한 레이블 없는 가상 히스토화학 염색 방법을 제안한다. PARS 데이터에 자기지도 학습 기반의 Noise2Void 소음 제거 네트워크와 새로운 기계적 스캐닝 오차 보정 알고리즘을 적용함으로써, 이 방법은 1 미크론 이하의 구조 해상도를 확보하고 악성 피부 및 유방 조직에서 금표준 H&E 염색과 구분되지 않는 가상 염색 영상을 생성한다.

ABSTRACT

Modern histopathology relies on the microscopic examination of thin tissue sections stained with histochemical techniques, typically using brightfield or fluorescence microscopy. However, the staining of samples can permanently alter their chemistry and structure, meaning an individual tissue section must be prepared for each desired staining contrast. This not only consumes valuable tissue samples but also introduces delays in essential diagnostic timelines. In this work, virtual histochemical staining is developed using label-free photon absorption remote sensing (PARS) microscopy. We present a method that generates virtually stained histology images that are indistinguishable from the gold standard hematoxylin and eosin (H&E) staining. First, PARS label-free ultraviolet absorption images are captured directly within unstained tissue specimens. The radiative and non-radiative absorption images are then preprocessed, and virtually stained through the presented pathway. The preprocessing pipeline features a self-supervised Noise2Void denoising convolutional neural network (CNN) as well as a novel algorithm for pixel-level mechanical scanning error correction. These developments significantly enhance the recovery of sub-micron tissue structures, such as nucleoli location and chromatin distribution. Finally, we used a cycle-consistent generative adversarial network CycleGAN architecture to virtually stain the preprocessed PARS data. Virtual staining is applied to thin unstained sections of malignant human skin and breast tissue samples. Clinically relevant details are revealed, with comparable contrast and quality to gold standard H&E-stained images. This work represents a crucial step to deploying label-free microscopy as an alternative to standard histopathology techniques.

연구 동기 및 목표

• 기존 조직병리학의 한계를 극복하기 위해 영구 염색이 필요하고 유용한 조직 샘플을 소모한다는 점을 해결하고자 한다.
• 광자 흡수 원격 감지(PARS) 현미경을 이용한 비파괴적, 레이블 없는 전통적 히스토화학 염색의 대안을 개발하고자 한다.
• 화학적 염색 없이도 레이블이 없는, 염색되지 않은 조직 절편에서 고해상도 가상 H&E 염색 영상을 생성하고자 한다.
• 단일 조직 절편으로부터 빠르고 반복 가능하며 다중 대비 조직학적 평가를 가능하게 하고자 한다.

제안 방법

• 박리된, 염색되지 않은 인간 조직 절편에서 자외선 흡수 영상을 PARS 현미경을 통해 촬영한다.
• 복사 및 비복사 PARS 영상의 노이즈를 제거하기 위해 자기지도 학습 기반의 Noise2Void 컨volution 신경망(CNN)을 적용한다.
• 신규로 개발된 픽셀 수준 기계적 스캐닝 오차 보정 알고리즘을 구현하여 1 미크론 이하의 구조 정확도를 향상시킨다.
• 사전 처리된 PARS 영상을 가상 H&E 염색된 외관으로 변환하기 위해 사이클-일치 생성 적대적 네트워크(CycleGAN)를 사용한다.
• 모달리티 간 조직 형태를 일치시키기 위해 약한 레지스트레이션을 적용한 PARS 및 H&E 영상 쌍을 기반으로 CycleGAN을 훈련시킨다.
• 악성 피부 및 유방 조직 샘플에서 금표준 H&E 염색 조직병리 영상과 비교하여 가상 염색 결과를 검증한다.

실험 결과

연구 질문

• RQ1 PARS 현미경 데이터는 핵소 및 염색체 분포와 같은 1 미크론 이하의 조직 구조를 효과적으로 복원할 수 있는가?
• RQ2 CycleGAN 아키텍처는 실제 H&E 염색과 시각적으로 구분되지 않는 가상 H&E 염색 영상을 어느 정도 생성할 수 있는가?
• RQ3 Noise2Void 소음 제거와 기계적 오차 보정의 조합이 가상 염색을 위한 레이블 없는 PARS 영상 품질을 어떻게 향상시키는가?
• RQ4 약한 레지스트레이션을 적용한 PARS 및 H&E 쌍을 기반으로 한 CycleGAN을 통한 가상 염색이 임상적으로 관련된 대비와 해상도를 달성할 수 있는가?
• RQ5 제안된 방법은 화학적 염색이나 조직 소모 없이 진단에 관련된 조직학적 특징을 유지할 수 있는가?

주요 결과

• Noise2Void 소음 제거 네트워크는 PARS 영상의 신호 대 잡음 비율을 크게 향상시켜 1 미크론 이하의 구조를 더 선명하게 시각화할 수 있게 하였다.
• 신규로 개발된 기계적 스캐닝 오차 보정 알고리즘이 픽셀 수준의 정렬을 향상시켜 PARS 유래 영상의 구조 정확도를 높였다.
• CycleGAN을 통한 가상 염색은 금표준 H&E 염색과 유사한 대비 및 질감 품질의 영상을 생성하였다.
• 임상적으로 관련된 조직학적 특징, 특히 염색체 분포와 핵소 형태는 가상 염색 영상에서 명확하게 해상되었다.
• 이 방법은 단일 염색되지 않은 조직 절편으로부터 고해상도 가상 조직학 영상을 생성할 수 있었으며, 화학적 염색과 조직 소모가 필요 없었다.
• 이 접근법은 실시간 진단 응용 가능성이 있는 레이블 없는 다중 대비 조직병리학에 대한 실현 가능성을 입증하였다.