[논문 리뷰] Adaptive Supervised PatchNCE Loss for Learning H&E-to-IHC Stain Translation with Inconsistent Groundtruth Image Pairs

Fangda Li, Zhiqiang Hu외 2명|arXiv (Cornell University)|2023. 03. 10.

AI in cancer detection인용 수 4

한 줄 요약

이 논문은 H&E에서 IHC 염색으로의 변환을 위한 새로운 대비 손실인 적응형 감독형 패치NCE(ASP)를 제안한다. 이는 비일관된 참조 이미지 쌍으로 인한 노이즈 문제를 적응적으로 감소시켜 비슷하지 않은 패치 쌍의 영향을 줄이는 데 목적이 있다. 새로운 공개 데이터셋 MIST를 활용하여 여러 IHC 염색에 대해 성능을 향상시키며, HER2, Ki67, ER, PR 염색에서 상대적 최고 성능을 달성하여 SSIM, FID, 인지적 품질 측정치에서 뚜렷한 향상을 이룬다.

ABSTRACT

Immunohistochemical (IHC) staining highlights the molecular information critical to diagnostics in tissue samples. However, compared to H&E staining, IHC staining can be much more expensive in terms of both labor and the laboratory equipment required. This motivates recent research that demonstrates that the correlations between the morphological information present in the H&E-stained slides and the molecular information in the IHC-stained slides can be used for H&E-to-IHC stain translation. However, due to a lack of pixel-perfect H&E-IHC groundtruth pairs, most existing methods have resorted to relying on expert annotations. To remedy this situation, we present a new loss function, Adaptive Supervised PatchNCE (ASP), to directly deal with the input to target inconsistencies in a proposed H&E-to-IHC image-to-image translation framework. The ASP loss is built upon a patch-based contrastive learning criterion, named Supervised PatchNCE (SP), and augments it further with weight scheduling to mitigate the negative impact of noisy supervision. Lastly, we introduce the Multi-IHC Stain Translation (MIST) dataset, which contains aligned H&E-IHC patches for 4 different IHC stains critical to breast cancer diagnosis. In our experiment, we demonstrate that our proposed method outperforms existing image-to-image translation methods for stain translation to multiple IHC stains. All of our code and datasets are available at https://github.com/lifangda01/AdaptiveSupervisedPatchNCE.

연구 동기 및 목표

• 히스토파스롤로지에서 조직 섹션화 및 염색 변동성으로 인한 비일관된 H&E-IHC 참조 이미지 쌍 문제를 해결하기 위해.
• 정확한 염색 변환을 위해 완벽하지는 않지만 진단적으로 관련된 H&E-IHC 쌍을 활용하는 강건한 학습 프레임워크를 개발하기 위해.
• 정확하지 않은 픽셀 단위 일치가 이루어지는 이미지 쌍으로 인한 노이즈에 대비해 이미지 간 변환 성능을 향상시키기 위해.
• 네 가지 주요 유방암 IHC 염색에 대해 정렬된 H&E-IHC 패치를 포함하는 새로운 공개 데이터셋 MIST를 제공하기 위해.

제안 방법

• H&E와 IHC 패치 간의 특징 임bedding을 정렬하는 데 목적이 있는 Supervised PatchNCE(SP) 기반의 패치 기반 대비 손실인 Adaptive Supervised PatchNCE(ASP)를 제안한다.
• 생성된 IHC 패치와 참조 IHC 패치의 특징 임bedding 간 局부 유사도를 기반으로 대비 손실에 적응형 가중치를 도입하여 비일관된 영역의 영향을 감소시킨다.
• 패치 수준의 유사도에 따라 손실 기여도를 동적으로 조정하는 가중치 스케줄링 전략을 도입하여 노이즈에 대한 강건성을 향상시킨다.
• GAN 기반 이미지 간 변환 프레임워크에서 ResNet-6Blocks 생성자와 PatchGAN 판별자를 사용한다.
• 학습 중에 배치 크기가 1인 상태에서 랜덤 512×512 크롭을 적용하고, 선형 감소 학습률 스케줄링을 적용한 Adam 옵timizer를 사용한다.
• 포괄적인 평가를 위해 인지적 및 구조적 메트릭(SSI, PHV, FID, KID)을 활용한다.

Figure 1 : Illustration of the PatchNCE loss from [ 11 ] and the Supervised PatchNCE (SP) loss. The patch embeddings $\boldsymbol{z}$ are extracted by a shared network $F$ .

실험 결과

연구 질문

• RQ1 대비 학습 기반 손실이 염색 변환에서 비일관된 H&E-IHC 참조 이미지 쌍을 효과적으로 다룰 수 있는가?
• RQ2 패치 유사도 기반의 적응형 가중치가 노이즈가 많은 지도 학습에 대한 모델의 강건성을 어떻게 향상시키는가?
• RQ3 제안된 ASP 손실이 여러 IHC 염색에서 기존의 이미지 간 변환 방법보다 얼마나 뛰어나게 성능을 향상시키는가?
• RQ4 제안된 방법이 HER2, Ki67, ER, PR를 포함한 다양한 IHC 염색으로 일반화되는가?
• RQ5 여러 IHC 염색에 대해 정렬된 H&E-IHC 패치를 포함한 새로운 공개 데이터셋이 더 나은 벤치마킹과 재현 가능성을 가능하게 하는가?

주요 결과

• 제안된 ASP 손실은 모든 네 가지 IHC 염색(HER2, Ki67, ER, PR)에서 최고의 성능을 기록하였으며, FID와 KID 점수는 가장 낮고, SSIM과 PHV 값은 가장 높았다.
• MIST_{HER2} 데이터셋에서 선형-top 스케줄링을 사용한 ASP는 FID 51.2, KID 16.7을 기록하여 SP 기반 베이스라인(FID 61.9, KID 9.8)을 능가했다.
• MIST_{ER}에서 ASP 손실은 선형-λ 스케줄링을 통해 FID를 SP 기반 베이스라인의 46.4에서 41.4로 감소시켜 분포 정렬 향상을 입증했다.
• 시그모이드-top 스케줄링을 사용한 ASP 손실은 MIST_{HER2}에서 FID 45.2를 기록하여 적응형 가중치의 효과를 입증했다.
• 정성적 비교를 통해 생성된 IHC 이미지의 시각적 일관성과 병리학적 표현의 정확성이 뚜렷이 향상되었음을 확인했다.
• MIST 데이터셋은 각 염색당 4,000개 이상의 훈련 패치와 1,000개의 테스트 패치를 포함하여 향후 H&E에서 IHC로의 변환 연구에 재현 가능한 벤치마킹을 가능하게 한다.

Figure 2 : (a) Input H&E image $\boldsymbol{x}$ , (b) generated IHC image $\boldsymbol{\hat{y}}$ , (c) groundtruth IHC image $\boldsymbol{y}$ , and (d) heat map of the anchor-positive cosine similarities produced by a trained network at corresponding locations: $C_{s}=\boldsymbol{z}_{\boldsymbol{\ha