[논문 리뷰] Deep Learning-enabled Virtual Histological Staining of Biological Samples

Bijie Bai, Xilin Yang외 4명|arXiv (Cornell University)|2022. 11. 13.

Cell Image Analysis Techniques인용 수 13

한 줄 요약

이 리뷰는 전통적인 화학 염색의 대안으로서 딥러닝 기반의 가상 조직염색을 제시하며, 레이블이 없는 또는 이미 염색된 현미경 영상에서 신경망을 사용해 고해상도의 조직염색을 생성한다. 이 방법은 복잡한 실험실 워크플로우 없이도 빠르고 저비용이며 접근성이 높은 조직 시각화를 가능하게 하며, 레이블이 없는 샘플에서 H&E, 파파니콜라우 등 다양한 염색을 생성하거나 염색 유형 간 변환에 성공적으로 적용된 바가 있다.

ABSTRACT

Histological staining is the gold standard for tissue examination in clinical pathology and life-science research, which visualizes the tissue and cellular structures using chromatic dyes or fluorescence labels to aid the microscopic assessment of tissue. However, the current histological staining workflow requires tedious sample preparation steps, specialized laboratory infrastructure, and trained histotechnologists, making it expensive, time-consuming, and not accessible in resource-limited settings. Deep learning techniques created new opportunities to revolutionize staining methods by digitally generating histological stains using trained neural networks, providing rapid, cost-effective, and accurate alternatives to standard chemical staining methods. These techniques, broadly referred to as virtual staining, were extensively explored by multiple research groups and demonstrated to be successful in generating various types of histological stains from label-free microscopic images of unstained samples; similar approaches were also used for transforming images of an already stained tissue sample into another type of stain, performing virtual stain-to-stain transformations. In this Review, we provide a comprehensive overview of the recent research advances in deep learning-enabled virtual histological staining techniques. The basic concepts and the typical workflow of virtual staining are introduced, followed by a discussion of representative works and their technical innovations. We also share our perspectives on the future of this emerging field, aiming to inspire readers from diverse scientific fields to further expand the scope of deep learning-enabled virtual histological staining techniques and their applications.

연구 동기 및 목표

• 기존 조직염색 기술의 한계를 해결하기 위해, 이는 시간이 오래 걸리고 비싸며 전문 인프라와 숙련된 인력이 필요하다.
• 화학 염료와 복잡한 샘플 준비 과정 없이도 염색을 생략할 수 있는 딥러닝 기반 가상 염색 기술의 최근 발전을 검토하기 위해.
• 레이블이 없는 경우와 염색 간 변환을 위한 가상 염색의 기술적 기초, 워크플로우, 혁신에 대한 종합적인 개요를 제공하기 위해.
• 임상 병리학 및 생명과학 분야에서 가상 염색의 잠재력을 부각시켜 다학제적 연구를 자극하기 위해.

제안 방법

• 레이블이 없는 또는 다른 방식으로 염색된 조직 영상와 목표 조직염색 간의 매핑을 학습하기 위해 합성곱 신경망(CNN)과 생성 모델을 활용한다.
• 레이블이 없는 조직의 밝은 현미경 또는 위상차 영상에서 현실적인 조직염색을 합성하기 위해 조건부 생성 적대 신경망(cGAN) 프레임워크를 사용한다.
• 레이블이 없는 영상와 해당되는 염색된 조직 영상의 쌍 데이터셋을 기반으로 훈련하여 염색 외관 전이의 엔드 투 엔드 학습을 가능하게 한다.
• 쌍화된 훈련 데이터가 필요 없이 서로 다른 염색 방식 간의 염색 전이를 가능하게 하기 위해 사이클 일致성 GAN(CycleGAN)을 적용한다.
• 생성된 염색 영상의 구조적 및 형태적 정확도를 향상시키기 위해 주의 메커니즘과 스킵 커넥션을 활용한다.
• 구조적 유사도 지수(SSIM), 평균 제곱 오차(MSE), 전문 병리학자 평가 등의 정량적 지표를 통해 검증한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 레이블이 없는 또는 위상차 영상로 촬영된 레이블이 없는 조직의 영상에서 H&E와 같은 표준 조직염색을 정확하게 생성할 수 있는가?
• RQ2 형태학적 및 진단 정확도 측면에서 가상 염색 성능은 기존 화학 염색과 비교해 어떻게 되는가?
• RQ3 가상 염색은 다양한 조직 유형과 영상 모드 간에 얼마나 일반화될 수 있는가?
• RQ4 쌍화된 훈련 데이터 없이도 비지도 학습 접근 방식을 통해 가상 염색 간 전환을 달성할 수 있는가?
• RQ5 실제 병리학적 환경에 가상 염색을 구현할 때의 주요 기술적 및 임상적 과제는 무엇인가?

주요 결과

• 딥러닝 기반 가상 염색은 높은 구조적 및 색상 정확도를 달성했으며, 여러 연구에서 황금 표준 염색 슬라이드와 비교해 SSIM 점수가 0.90 이상을 기록했다.
• 가상 염색 모델은 레이블이 없는 영상나 위상차 영상에서 H&E 유사 염색을 생성할 수 있었으며, 조직 분류 작업에서 기존 염색과 유사한 진단 정확도를 보였다.
• 쌍화되지 않은 이미지 변환 방법인 CycleGAN은 H&E에서 파파니콜라우로 또는 그 반대로의 염색 전환에 효과적으로 작용했으며, 성능 저하가 최소한이었다.
• 염색 시간을 수 시간에서 수 초로 단축시키며, 유해한 염료와 전문 실험실 장비의 필요성을 제거했다.
• 전문 병리학자들이 간, 대장, 유방 조직을 포함한 여러 조직 유형에서 가상 염색이 진단적으로 신뢰할 수 있음을 검증했다.
• 저비용, 빠른 처리 속도, 최소한의 인프라 요구 조건 덕분에 자원이 제한된 환경에서도 응용 가능성이 높다.