[논문 리뷰] Deep learning-based virtual histology staining using auto-fluorescence of label-free tissue

Yair Rivenson, Hongda Wang외 4명|arXiv (Cornell University)|2018. 03. 30.

Cell Image Analysis Techniques참고 문헌 36인용 수 162

한 줄 요약

이 논문은 비표지 조직의 자동 형광으로 사실상 염색된 조직학 이미지를 생성하는 심층 학습 접근법을 시연하여 전통적인 염색을 우회합니다.

ABSTRACT

Histological analysis of tissue samples is one of the most widely used methods for disease diagnosis. After taking a sample from a patient, it goes through a lengthy and laborious preparation, which stains the tissue to visualize different histological features under a microscope. Here, we demonstrate a label-free approach to create a virtually-stained microscopic image using a single wide-field auto-fluorescence image of an unlabeled tissue sample, bypassing the standard histochemical staining process, saving time and cost. This method is based on deep learning, and uses a convolutional neural network trained using a generative adversarial network model to transform an auto-fluorescence image of an unlabeled tissue section into an image that is equivalent to the bright-field image of the stained-version of the same sample. We validated this method by successfully creating virtually-stained microscopic images of human tissue samples, including sections of salivary gland, thyroid, kidney, liver and lung tissue, also covering three different stains. This label-free virtual-staining method eliminates cumbersome and costly histochemical staining procedures, and would significantly simplify tissue preparation in pathology and histology fields.

연구 동기 및 목표

• 전통적인 염색 단계를 제거하여 더 빠르고 비용 효율적인 조직학을 촉진합니다.
• 라벨 프리 이미징 파이프라인을 개발하여 염색 동등 이미지를 얻습니다.
• 염색 형상 매핑을 위해 자동 형광을 밝은 필드 조직학 표현으로 매핑하기 위해 심층 학습을 활용합니다.

제안 방법

• 라벨링되지 않은 조직의 광대역 자동 형광 이미지를 입력으로 사용합니다.
• 생성적 적대 네트워크(GAN) 프레임워크 내에서 합성곱 신경망을 학습합니다.
• 자동 형광 이미지를 기존 염색 참조와 닮은 사실상 염색된 밝은 필드 출력으로 변환합니다.
• 자동 형광과 해당 염색 참조를 페어링하여 감독 학습을 적용합니다.
• 여러 기관 및 염색에서 인간 조직 샘플로 접근법을 검증합니다.

실험 결과

연구 질문

• RQ1 라벨링되지 않은 조직의 자동 형광 이미지를 시각적으로 정확한 가상 염색 조직학 이미지로 변환할 수 있습니까?
• RQ2 CNN-GAN 모델이 서로 다른 조직 유형 및 히스토케미컬 염색에 걸쳐 일반화됩니까?
• RQ3 가상 염색 이미지가 실제 염색 이미지에 비해 진단에 관련된 특징을 얼마나 잘 보존합니까?

주요 결과

• 라벨이 있는 조직의 자동 형광으로부터 사실상 염색된 현미경 이미지를 성공적으로 생성했습니다.
• 타액선, 갑상선, 신장, 간, 폐를 포함한 인간 조직 샘플에서 검증되었습니다.
• 세 가지 다른 히스토케미컬 염색에 걸친 적용 가능성을 입증했습니다.
• 병리학 워크플로에서 고된 히스토케미컬 염색 절차의 필요성을 제거합니다.