[논문 리뷰] Slide-free MUSE Microscopy to H&E Histology Modality Conversion via Unpaired Image-to-Image Translation GAN Models

Tanishq Mathew Abraham, Andrew Shaw외 3명|arXiv (Cornell University)|2020. 08. 19.

Cell Image Analysis Techniques참고 문헌 11인용 수 6

한 줄 요약

이 논문은 슬라이드가 없는 MUSE 현미경 영상에서 허브-에오스틴(H&E) 염색 조직병리 영상으로 변환하는 CycleGAN 기반의 비쌍체 이미지 간 번역 프레임워크를 제안한다. 이를 통해 병리의사들이 익숙한 H&E 시각적 단서를 사용해 MUSE 데이터를 해석할 수 있도록 한다. 이 방법은 시각적 현실성에서 최신 기술 수준을 달성하였으며, CycleGAN이 DualGAN과 GANILLA보다 정성적 및 평가자 기반 정량적 평가에서 모두 뛰어난 성능을 보였고, 특히 내용 보존을 향상시키기 위해 MUSE 영상의 색상 반전을 적용한 후 더욱 뛰어났다.

ABSTRACT

MUSE is a novel slide-free imaging technique for histological examination of tissues that can serve as an alternative to traditional histology. In order to bridge the gap between MUSE and traditional histology, we aim to convert MUSE images to resemble authentic hematoxylin- and eosin-stained (H&E) images. We evaluated four models: a non-machine-learning-based color-mapping unmixing-based tool, CycleGAN, DualGAN, and GANILLA. CycleGAN and GANILLA provided visually compelling results that appropriately transferred H&E style and preserved MUSE content. Based on training an automated critic on real and generated H&E images, we determined that CycleGAN demonstrated the best performance. We have also found that MUSE color inversion may be a necessary step for accurate modality conversion to H&E. We believe that our MUSE-to-H&E model can help improve adoption of novel slide-free methods by bridging a perceptual gap between MUSE imaging and traditional histology.

연구 동기 및 목표

• 새로운 슬라이드 없는 MUSE 현미경 영상과 전통적인 H&E 병리 영상 사이의 인지적 격차를 해소하기 위해, 병리학에서의 홨이트 스탠다드로 여겨지는 H&E 병리 영상과의 연계를 목적으로 한다.
• 쌍체가 필요한 훈련 데이터 없이 MUSE 영상을 H&E 유사한 외관으로 변환하는 과제를 해결하기 위해.
• MUSE 입력에서 실제 가상의 H&E 영상을 생성할 수 있는 능력에 따라, 여러 비쌍체 이미지 간 번역 GAN 모델(CycleGAN, DualGAN, GANILLA)을 평가하고 비교하기 위해.
• 모달리티 번역 정확도를 향상시키기 위한 최적의 전처리 단계—특히 MUSE 색상 반전—을 규명하기 위해.
• 쌍체 기반 진리값이 없는 상황에서 이미지의 현실성 평가를 위한 강력하고 반정량적 평가 프레임워크를 개발하기 위해.

제안 방법

• 쌍체가 없는 훈련 쌍이 필요 없이 MUSE 영상(X)을 H&E 영상(Y)으로 매핑하기 위해 비쌍체 이미지 간 번역을 CycleGAN, DualGAN, GANILLA를 활용하여 수행하였다.
• 사이클 일致성 손실를 적용: Lcycle = E_x[||G_Y(G_X(x)) - x||_1] + E_y[||G_X(G_Y(y)) - y||_1] 를 통해 사이클 복구 및 내용 보존을 강제하였다.
• 정규화를 위해 아이덴티티 손실를 통합: L_identity = E_y[||G_X(y) - y||_1] + E_x[||G_Y(x) - x||_1] 를 통해 특징 일관성을 향상시켰다.
• 모든 도메인에 대해 70×70 PatchGAN 판별자를 사용하여 생성된 이미지의 국소적 현실성 강화를 달성하였다.
• 큰 전체 슬라이드 영상 처리를 위해 겹치는 512×512 패치와 스트라이드 256를 사용한 타일 기반 추론을 수행하여 타일링 아티팩트를 최소화하였다.
• 실제 H&E 영상과 생성된 H&E 영상에 대해 외부 평가자 모델을 훈련시켜 현실성에 대한 정량적 평가를 수행하였으며, 높은 정확도는 낮은 생성 품질을 의미한다.

실험 결과

연구 질문

• RQ1 쌍체가 없는 훈련 데이터 없이도 비쌍체 GAN 기반의 이미지 번역이 MUSE 현미경 영상에서 실제로 설득력 있는 가상의 H&E 영상으로 효과적으로 변환할 수 있는가?
• RQ2 MUSE 영상의 색상 반전이 GAN 기반 모달리티 번역 모델의 성능을 향상시키는가?
• RQ3 CycleGAN, DualGAN, GANILLA 중에서 어떤 모델이 시각적 정밀도와 구조적 보존 측면에서 가장 현실적인 가상의 H&E 영상을 생성하는가?
• RQ4 실제 H&E 영상과 생성된 H&E 영상에 대해 훈련된 외부 평가자 모델이 진리값이 없는 상황에서 이미지 품질 평가의 신뢰할 수 있는 대체 기준이 될 수 있는가?
• RQ5 모델 추론 속도와 타일링 일관성은 전체 슬라이드 영상 처리에 있어서 이러한 모델의 실용적 구현에 어떤 영향을 미치는가?

주요 결과

• CycleGAN이 시각적 품질에서 가장 뛰어난 성능을 보였으며, 외부 평가자 모델이 가짜 영상 분류 정확도를 71.9%로 기록(10번째 에포크 기준)하여 가장 현실적인 출력을 보였다.
• GANILLA는 강력한 성능를 보였지만 CycleGAN에 뒤져, 평가자 정확도가 10번째 에포크 기준 84.4%에 도달하여 더 명백한 아티팩트를 유발함을 시사했다.
• DualGAN은 가장 현실성이 떨어지는 결과를 보였으며, 20번째 에포크 기준 평가자 정확도가 100%에 도달하여 일반화 능력이 떨어지고 H&E 외관을 모방하지 못함을 시사했다.
• MUSE 영상의 색상 반전은 성공적인 번역을 위해 필수적이었으며, MUSE의 밝은 세포핵과 H&E의 어두운 세포핵 간 오류 정렬을 수정하였다.
• 겹치는 영역(스트라이드 256)을 포함한 타일 기반 추론은 겹치지 않는 추론 대비 눈에 띄는 타일링 아티팩트를 크게 감소시켜 몽타주 일관성을 향상시켰다.
• 평가자 기반 평가 방법은 시각적 점검과 일관된 결과를 도출하였으며, 병리학에서 GAN 기반 모달리티 번역에 대한 반정량적 기준으로 사용될 수 있음을 뒷받침했다.