[논문 리뷰] FFusionCGAN: An end-to-end fusion method for few-focus images using conditional GAN in cytopathological digital slides

Xiebo Geng, Sibo Liua외 8명|arXiv (Cornell University)|2020. 01. 03.

Advanced Image Fusion Techniques참고 문헌 9인용 수 5

한 줄 요약

이 논문은 소수의 초점 또는 단일 초점의 세포병리학 디지털 슬라이드를 고품질의 완전 초점 이미지로 융합하기 위한 엔드 투 엔드 조건부 GAN 기반 방법인 FFusionCGAN을 제안한다. U-Net과 DenseBlock 기반 생성자에 의미적 세그멘테이션 네트워크를 통합하여 블러된 영역을 식별함으로써, 수작업으로 설계된 융합 규칙 없이 직접 이미지 간의 변환을 학습하며, 텍스처의 명확성과 초점 깊이가 향상된 결과를 달성한다.

ABSTRACT

Multi-focus image fusion technologies compress different focus depth images into an image in which most objects are in focus. However, although existing image fusion techniques, including traditional algorithms and deep learning-based algorithms, can generate high-quality fused images, they need multiple images with different focus depths in the same field of view. This criterion may not be met in some cases where time efficiency is required or the hardware is insufficient. The problem is especially prominent in large-size whole slide images. This paper focused on the multi-focus image fusion of cytopathological digital slide images, and proposed a novel method for generating fused images from single-focus or few-focus images based on conditional generative adversarial network (GAN). Through the adversarial learning of the generator and discriminator, the method is capable of generating fused images with clear textures and large depth of field. Combined with the characteristics of cytopathological images, this paper designs a new generator architecture combining U-Net and DenseBlock, which can effectively improve the network's receptive field and comprehensively encode image features. Meanwhile, this paper develops a semantic segmentation network that identifies the blurred regions in cytopathological images. By integrating the network into the generative model, the quality of the generated fused images is effectively improved. Our method can generate fused images from only single-focus or few-focus images, thereby avoiding the problem of collecting multiple images of different focus depths with increased time and hardware costs. Furthermore, our model is designed to learn the direct mapping of input source images to fused images without the need to manually design complex activity level measurements and fusion rules as in traditional methods.

연구 동기 및 목표

• 시간적 또는 하드웨어 제약으로 인해 여러 초점 깊이의 이미지를 확보하는 것이 불가능한 세포병리학 디지털 슬라이드에서 다중 초점 이미지 융합 문제를 해결한다.
• 수작업으로 설계된 융합 규칙과 활동 수준 측정에 의존하는 전통적 융합 방법의 한계를 극복한다.
• 단일 또는 소수의 초점 입력에서 고품질 융합 이미지를 생성할 수 있는 엔드 투 엔드 딥 러닝 프레임워크를 개발한다.
• U-Net과 DenseBlock을 조합한 새로운 아키텍처를 통해 생성자 내 특징 표현과 수신 영역을 향상시킨다.
• 세포병리학 이미지에서 블러된 영역를 식별하고 복구를 안내하기 위해 의미적 세그멘테이션 네트워크를 통합하여 융합 품질을 향상시킨다.

제안 방법

• 생성자가 입력된 단일 또는 소수의 초점 이미지를 완전히 초점이 맞춰진 융합 이미지로 매핑하도록 하는 조건부 GAN 프레임워크를 제안한다.
• 스킵 연결과 특징 전파를 위한 U-Net과 특징 재사용 및 수신 영역 확장을 위한 DenseBlock을 조합한 하이브리드 생성자 아키텍처를 설계한다.
• 입력 이미지의 블러된 영역를 식별하기 위해 의미적 세그멘테이션 네트워크를 통합하여 생성자가 해당 영역의 선명함을 우선적으로 강조하도록 안내한다.
• 융합 출력의 텍스처 세부 정보와 현실성을 유지하기 위해 적대적 손실을 사용하여 생성자와 판별자를 엔드 투 엔드로 훈련한다.
• 구조적 정합성 향상과 잡음 감소를 위해 인지적 손실과 사이클 일致성 손실을 활용한다.
• 데이터에서 직접 매핑을 학습함으로써 수작업으로 설계된 융합 규칙나 초점 측정 계산이 필요 없어진다.

실험 결과

연구 질문

• RQ1 조건부 GAN 기반 모델이 세포병리학 전체 슬라이드에서 단일 또는 소수의 초점 이미지로부터 고품질 융합 이미지를 효과적으로 생성할 수 있는가?
• RQ2 블러된 영역 탐지에 의미적 세그멘테이션 네트워크를 통합함으로써 융합 출력의 품질이 어떻게 향상되는가?
• RQ3 제안된 U-Net과 DenseBlock 하이브리드 생성자 아키텍처가 표준 아키텍처에 비해 특징 표현과 수신 영역을 얼마나 향상시키는가?
• RQ4 엔드 투 엔드 학습 접근 방식이 사전 정의된 융합 규칙과 초점 측정에 의존하는 전통적 융합 방법보다 우수한 성능을 보이는가?
• RQ5 모델은 다양한 세포병리학 슬라이드 유형에 대해 일반화되어 있으며, 높은 텍스처 명료성과 초점 깊이를 유지할 수 있는가?

주요 결과

• 제안된 FFusionCGAN 모델은 단일 또는 이중 초점 입력 이미지로부터 융합 이미지를 성공적으로 생성하여 다수의 초점 깊이 획득이 필요 없어졌다.
• 의미적 세그멘테이션 네트워크 통합으로 이전에 블러였던 영역의 선명도가 크게 향상되었으며, 특히 복잡한 세포 구조에서 뚜렷한 개선 효과를 보였다.
• 하이브리드 U-Net과 DenseBlock 생성자 아키텍처는 더 나은 특징 인코딩과 수신 영역 확장을 달성하여 더 현실적이고 세밀한 융합 출력을 생성했다.
• SSIM 및 PSNR와 같은 정량적 지표를 통해 전통적 융합 방법에 비해 텍스처 명료성과 초점 깊이 측면에서 뛰어난 성능을 보였다.
• 수작업 융합 규칙가 필요 없는 엔드 투 엔드 훈련으로 다양한 세포병리학 슬라이드 샘플에서 일관되고 강력한 성능을 발휘했다.
• 대용량 전체 슬라이드 이미지에서도 뛰어난 일반화 능력을 보이며 임상적 디지털 병리학 워크플로우에 적합함을 입증했다.