[논문 리뷰] Stain Style Transfer using Transitive Adversarial Networks

Shaojin Cai, Yuyang Xue Qinquan Gao외 4명|arXiv (Cornell University)|2019. 10. 23.

Generative Adversarial Networks and Image Synthesis참고 문헌 22인용 수 5

한 줄 요약

이 논문은 전체 슬라이드 이미지에서 염색 스타일 전이를 위한 새로운 GAN 기반 방법인 전이성 악성 네트워크(Transitive Adversarial Networks, TAN)를 제안한다. 이 방법은 기준 템플릿 슬라이드가 필요로 하지 않으며, 새로운 생성자 아키텍처인 Trans-Net을 사용하는 사이클 일관성 프레임워크를 통해 기존의 StainGAN 대비 PSNR에서 0.87 dB 향상되고, 추론 시간은 60초인 StainGAN 대비 31초로 훨씬 빠르게 성능을 달성한다.

ABSTRACT

Digitized pathological diagnosis has been in increasing demand recently. It is well known that color information is critical to the automatic and visual analysis of pathological slides. However, the color variations due to various factors not only have negative impact on pathologist's diagnosis, but also will reduce the robustness of the algorithms. The factors that cause the color differences are not only in the process of making the slices, but also in the process of digitization. Different strategies have been proposed to alleviate the color variations. Most of such techniques rely on collecting color statistics to perform color matching across images and highly dependent on a reference template slide. Since the pathological slides between hospitals are usually unpaired, these methods do not yield good matching results. In this work, we propose a novel network that we refer to as Transitive Adversarial Networks (TAN) to transfer the color information among slides from different hospitals or centers. It is not necessary for an expert to pick a representative reference slide in the proposed TAN method. We compare the proposed method with the state-of-the-art methods quantitatively and qualitatively. Compared with the state-of-the-art methods, our method yields an improvement of 0.87dB in terms of PSNR, demonstrating the effectiveness of the proposed TAN method in stain style transfer.

연구 동기 및 목표

• 다른 스캐너와 병원 간 디지털 병리 슬라이드의 색상 변동 문제를 해결하기 위해.
• 기존 염색 전이 방법에서 전문가가 선택한 기준 템플릿 슬라이드에 의존하는 것을 제거하기 위해.
• 병리학적 진단 및 CAD 시스템에서의 일관성을 향상시키기 위해 염색 스타일 전이의 품질과 속도를 향상시키기 위해.
• 서로 다른 출처의 쌍이 없는 전체 슬라이드 이미지에서 작동하는 강건하고 비지도 학습 방법을 개발하기 위해.

제안 방법

• TAN은 CycleGAN에 영감을 받은 사이클 일관성 GAN 프레임워크를 사용하여, 서로 다른 스캐너에서 촬영한 H&E 염색 슬라이드 간의 이중 방향 번역을 가능하게 한다 (예: Aperio에서 Hamamatsu로의 변환).
• 이 방법은 고급 의미적 및 텍스처 정보를 유지하기 위해 8개의 다운샘플링 및 8개의 업샘플링 레이어를 사용하는 새로운 생성자 네트워크인 Trans-Net을 도입한다.
• Trans-Net은 다운샘플링/업샘플링 전후의 저수준 특징을 추가하는 스킵 연결을 통합하여 정보 손실를 줄이고 색상 및 텍스처의 정확성을 향상시킨다.
• 모델은 생성자와 판별자를 훈련하기 위해 최소-최대 적대적 손실를 사용하며, 사이클 일관성 손실를 통해 번역 과정에서의 구조적 보존을 보장한다.
• 과적합을 줄이고 훈련 및 추론 속도를 향상시키기 위해 생성자에 단지 16개의 컨볼루션 레이어만을 설계하였다.
• 이 프레임워크는 쌍이 없는 도메인 간 이미지가 필요로 하지 않기 때문에 비지도 방식으로 작동하며, 실제 병리학적 영상에 적합하다.

실험 결과

연구 질문

• RQ1 수동으로 선택된 기준 템플릿 슬라이드에 의존하지 않고도 GAN 기반 방법이 고성능의 염색 스타일 전이를 달성할 수 있는가?
• RQ2 제안된 Trans-Net 생성자 아키텍처는 기존 아키텍처 대비 병리학적 영상에서 색상, 대비 및 텍스처 세부 정보를 얼마나 잘 유지하는가?
• RQ3 제안된 방법은 기존 최고 수준의 염색 전이 기술 대비 PSNR와 SSIM에서 얼마나 향상되는가?
• RQ4 성능을 유지하거나 향상시키면서도 더 빠른 추론 속도를 달성할 수 있는가?

주요 결과

• 제안된 TAN 방법은 PSNR 22.22 dB를 달성하여 기존 최고 수준의 StainGAN 방법(21.35 dB) 대비 0.87 dB 향상되었다.
• TAN은 SSIM 0.812를 기록하여 StainGAN의 0.785보다 뚜렷이 향상되었으며, 이는 실제 영상과의 구조적 유사도가 높다는 것을 의미한다.
• TAN의 추론 시간은 1장당 31초로 StainGAN의 60초 대비 50% 빠르며, 이는 계산 효율성 향상을 보여준다.
• 시각적 비교 결과, TAN이 생성한 영상은 StainGAN 및 기타 기준 생성자 대비 색상 정확도, 대비 및 텍스처 세부 정보에서 실제 영상에 더 가까운 것으로 나타났다.
• 다양한 생성자 아키텍처를 테스트한 결과, Trans-Net은 PSNR와 SSIM 모두에서 U-Net, Res-UNet, DenseNet, Dense-UNet를 능가했으며, 동시에 계산 시간도 더 적게 소요되었다.
• 높은 수의 다운샘플링/업샘플링 레이어와 특징 융합 메커니즘을 갖춘 Trans-Net의 설계는 의미적 및 텍스처 세부 정보의 보존에 기여한다.