[논문 리뷰] A comparative evaluation of image-to-image translation methods for stain transfer in histopathology

Igor Zingman, Sergio Frayle외 3명|arXiv (Cornell University)|2023. 03. 29.

AI in cancer detection인용 수 5

한 줄 요약

이 연구는 허혈성 및 마스슨 트리코롬 조직병리학 염색 간의 염색 이행을 위해 12가지 이미지 간 번역 방법—세 가지 전통적 방법과 아홉 가지 GAN 기반 방법을 평가한다. CycleGAN이 가장 뛰어난 성능을 보였으며, 낮은 왜곡과 거의 완벽한 일관성으로 임상적으로 사용 가능한 고해상도 합성 영상을 생성하여 전통적 방법과 다른 GAN 변종을 모두 능가했다.

ABSTRACT

Image-to-image translation (I2I) methods allow the generation of artificial images that share the content of the original image but have a different style. With the advances in Generative Adversarial Networks (GANs)-based methods, I2I methods enabled the generation of artificial images that are indistinguishable from natural images. Recently, I2I methods were also employed in histopathology for generating artificial images of in silico stained tissues from a different type of staining. We refer to this process as stain transfer. The number of I2I variants is constantly increasing, which makes a well justified choice of the most suitable I2I methods for stain transfer challenging. In our work, we compare twelve stain transfer approaches, three of which are based on traditional and nine on GAN-based image processing methods. The analysis relies on complementary quantitative measures for the quality of image translation, the assessment of the suitability for deep learning-based tissue grading, and the visual evaluation by pathologists. Our study highlights the strengths and weaknesses of the stain transfer approaches, thereby allowing a rational choice of the underlying I2I algorithms. Code, data, and trained models for stain transfer between H&E and Masson's Trichrome staining will be made available online.

연구 동기 및 목표

• 12가지 이미지 간 번역 방법의 염색 이행 성능을 체계적으로 평가하는 것.
• 실제 염색 영상 대비 생성된 염색 영상으로 사용되는 딥러닝 기반 조직 분류 모델의 성능을 평가하는 것.
• 전문 병리의사가 실제 영상와 인공적으로 염색된 조직 영상 간을 구별할 수 있는 능력을 평가하는 것.
• 염색 이행 응용 분야에서 최적의 이미지 간 번역 방법을 선정하기 위한 기준 마련.
• H&E에서 마스슨 트리코롬, 그 반대로의 염색 이행을 위한 코드, 데이터, 훈련된 모델 공개.

제안 방법

• 12가지 이미지 간 번역 방법 평가: 세 가지 전통적 방법(Macenko, Vahadane, Reinhard)과 아홉 가지 GAN 기반 방법(CycleGAN, StainGAN, UNIT, DRIT, MUNIT, CUT, StainNet, ColorStat, Pix2Pix, UTOM).
• CAMELYON16 데이터셋에서 확보한 쌍체 H&E 및 마스슨 트리코롬 전체 슬라이드 영상 자료를 훈련 및 평가에 사용.
• 정량적 평가 지표 적용: MSE, MAE, SSIM, FID를 통해 영상 번역 품질 및 내용 보존 정도 평가.
• 실제 MT 염색 타일 기반으로 염증 분류를 위한 딥러닝 모델을 훈련하고, 생성된 MT 영상으로 입력했을 때의 성능 평가.
• 200장의 실제 영상과 200장의 생성 영상으로 이루어진 익명 평가를 병리의사 대상으로 실시하여 시각적 현실감 테스트.
• 평가에 300×300 영상 타일을 사용하였으며, 크기 제약으로 인해 Pix2Pix와 UTOM는 제외.

실험 결과

연구 질문

• RQ1 H&E와 마스슨 트리코롬 간 조직병리학 영상에서 어떤 이미지 간 번역 방법이 가장 현실적인 염색 이행을 제공하는가?
• RQ2 다양한 이미지 간 번역 방법이 조직 분류 작업에서 하류 딥러닝 모델의 성능에 어떤 영향을 미치는가?
• RQ3 전문 병리의사가 실제 영상와 인공적으로 염색된 조직 영상 간을 얼마나 정확히 구별할 수 있는가?
• RQ4 전통적 영상 처리 방법과 현대적인 GAN 기반 접근 방식 간의 염색 이행 품질을 비교하면 어떠한가?
• RQ5 이미지 정확도, 내용 보존 정도, 임상적 활용 가능성 사이에서 가장 균형 잡힌 성능을 보이는 이미지 간 번역 방법은 무엇인가?

주요 결과

• H&E로의 염색 이행에 CycleGAN을 사용했을 때, 염증 점수 예측에서 가장 낮은 MSE(1.1±0.2)와 MAE(8.6±0.7)를 기록하여 실제 데이터와 높은 일관성을 보였다.
• StainGAN과 UNIT는 CycleGAN과 유사한 성능을 보였으며, 이론적 최적에 가까운 MSE 및 MAE 값을 기록했고, 높은 SSIM 및 낮은 FID 점수를 기록했다.
• 전통적 방법(Macenko, Vahadane, Reinhard)은 성능이 열악했으며, MSE 값이 각각 9.7±0.7과 10.3±0.7이었고, 이는 심각한 왜곡과 낮은 이행 품질을 의미했다.
• 병리의사들은 CycleGAN으로 생성된 영상와 실제 영상 간을 신뢰성 있게 구별하지 못했으며, 정확도는 랜덤 추측 수준에 가까웠다(P1: 51.5%, P2: 53%), 이는 높은 시각적 현실감을 의미했다.
• MUNIT로 생성된 영상의 경우 더 쉽게 식별되었으며, 병리의사의 정확도는 각각 57%와 66%였고, 이는 눈에 띄는 잡음이나 스타일 일관성 문제를 암시했다.
• 픽셀 단위의 방법인 StainNet과 전통적 방법은 일부 지표에서는 높은 정확도를 보였지만, 심각한 왜곡을 유발하여 염색 이행에 부적합했다.