[논문 리뷰] GAN-based Virtual Re-Staining: A Promising Solution for Whole Slide Image Analysis

Zhaoyang Xu, Huang, Xingru외 3명|arXiv (Cornell University)|2019. 01. 13.

Cell Image Analysis Techniques참고 문헌 20인용 수 75

한 줄 요약

주어진 논문은 조건부 CycleGAN(cCGAN)을 사용하여 H&E 전 slide 이미지를 IHC 유사 이미지로 변환하는 가상 염색을 제안하며, 패치 수준 레이블과 구조 보존/SSIM 손실을 도입하여 구조를 보존합니다.

ABSTRACT

Histopathological cancer diagnosis is based on visual examination of stained tissue slides. Hematoxylin and eosin (H\&E) is a standard stain routinely employed worldwide. It is easy to acquire and cost effective, but cells and tissue components show low-contrast with varying tones of dark blue and pink, which makes difficult visual assessments, digital image analysis, and quantifications. These limitations can be overcome by IHC staining of target proteins of the tissue slide. IHC provides a selective, high-contrast imaging of cells and tissue components, but their use is largely limited by a significantly more complex laboratory processing and high cost. We proposed a conditional CycleGAN (cCGAN) network to transform the H\&E stained images into IHC stained images, facilitating virtual IHC staining on the same slide. This data-driven method requires only a limited amount of labelled data but will generate pixel level segmentation results. The proposed cCGAN model improves the original network \cite{zhu_unpaired_2017} by adding category conditions and introducing two structural loss functions, which realize a multi-subdomain translation and improve the translation accuracy as well. % need to give reasons here. Experiments demonstrate that the proposed model outperforms the original method in unpaired image translation with multi-subdomains. We also explore the potential of unpaired images to image translation method applied on other histology images related tasks with different staining techniques.

연구 동기 및 목표

• 저대조(H&E) 한계를 극복하고 비용이 많이 드는 IHC 의존도를 줄이기 위한 가상 염색의 필요성 제시
• H&E로부터 가상 IHC를 생성하기 위한 다중 클래스 비대칭 이미지-대-이미지 변환 모델 개발
• 변환 과정에서 원본 조직의 구조적 충실도를 보장하기 위한 특수 손실 함수 도입
• 가상 염색을 통한 조직 분할 및 다운스트림 AI 분석 향상 가능성 확보

제안 방법

• 다중 서브도메인 번역을 위한 조직 클래스에 대한 조건부 입력으로 CycleGAN 확장
• 하위 도메인 표현의 정확성을 강제하기 위한 패치 단위 분류기 부착
• 변환 과정에서 구조와 질감을 보존하기 위한 포토리얼리즘 손실 및 SSIM 손실 도입
• 생성기/판별기/분류기를 학습시키기 위한 조건부 적대적 손실, 사이클 손실, 및 분류 손실의 조합 사용
• Eq. 11에 따라 cGAN, 사이클, 아이덴티티, 클래스, clcyc, SSIM, 포토리얼리즘 항의 가중 손실 L의 균형 최적화

실험 결과

연구 질문

• RQ1 비대칭 이미지-대-이미지 변환이 매칭 데이터 없이 H&E에서 IHC로의 정확한 다중 클래스 가상 염색을 생성할 수 있는가?
• RQ2 패치 수준의 클래스 정보를 추가하면 변환 품질과 하위 도메인 일관성이 향상되는가?
• RQ3 포토리얼리즘 및 SSIM 손실이 가상 염색 중 조직 구조를 보존하는가?
• RQ4 제안된 손실들이 원래 형태를 보존하면서 올바른 염색 스타일을 달성하는 데 미치는 영향은 무엇인가?

주요 결과

• 제안된 손실을 갖춘 cCGAN이 CycleGAN에 비해 가상 염색 품질을 향상시키며, 특히 훈련 데이터가 제한된 혼합 구성요소에 대해 강력함을 보임
• 가장 성능이 좋은 설정 발견: gamma=0.5, alpha=0.5, beta=1
• 정량적 결과는 클래스별로 정확도가 다르게 나타나며, TF, HB, HF, TN은 데이터 균형 및 복잡성으로 인해 서로 다른 도전을 보임
• 병리학자들의 평가에서 CycleGAN에 비해 콘텐츠 보존이 더 잘되고 인공적 왜곡이 감소하는 것으로 나타남
• 레이블 의존도를 줄이기 위한 제안된 확장의 zero-shot 또는 비지도 학습 가능성 논의