[논문 리뷰] High-throughput fast full-color digital pathology based on Fourier ptychographic microscopy via color transfer

Yuting Gao, Jiurun Chen외 4명|arXiv (Cornell University)|2021. 01. 19.

Advanced X-ray Imaging Techniques참고 문헌 55인용 수 34

한 줄 요약

이 논문은 단일 파장으로 촬영한 고해상도 회색조 FPM 이미지에 저해상도(LR) 전색상 이미지의 색조 무늬를 전송함으로써 고속 전색상 디지털 병리학을 구현하는 Color Transfer Fourier Ptychographic Microscopy(CFPM)를 제안한다. Lab 색상 공간에서의 비지도 색상 전송을 활용함으로써 기존의 삼파장 FPM 대비 촬영 시간을 2/3 감소시키면서도 RMSE는 0.4% 증가(5.7% 대비 5.3%)에 그쳐, 고속, 정확하고 효율적인 전색상 영상 촬영이 가능하며 고도화된 FPM 기법과도 호환된다.

ABSTRACT

Full-color imaging is significant in digital pathology. Compared with a grayscale image or a pseudo-color image that only contains the contrast information, it can identify and detect the target object better with color texture information. Fourier ptychographic microscopy (FPM) is a high-throughput computational imaging technique that breaks the tradeoff between high resolution (HR) and large field-of-view (FOV), which eliminates the artifacts of scanning and stitching in digital pathology and improves its imaging efficiency. However, the conventional full-color digital pathology based on FPM is still time-consuming due to the repeated experiments with tri-wavelengths. A color transfer FPM approach, termed CFPM was reported. The color texture information of a low resolution (LR) full-color pathologic image is directly transferred to the HR grayscale FPM image captured by only a single wavelength. The color space of FPM based on the standard CIE-XYZ color model and display based on the standard RGB (sRGB) color space were established. Different FPM colorization schemes were analyzed and compared with thirty different biological samples. The average root-mean-square error (RMSE) of the conventional method and CFPM compared with the ground truth is 5.3% and 5.7%, respectively. Therefore, the acquisition time is significantly reduced by 2/3 with the sacrifice of precision of only 0.4%. And CFPM method is also compatible with advanced fast FPM approaches to reduce computation time further.

연구 동기 및 목표

• 세 가지 파장에서 반복 촬영이 필요한 기존의 전색상 푸리에 페르티코그래픽 현미경(FPM)의 고속 촬영이 어려운 문제를 해결하기 위해
• 이미지 품질을 손상시키지 않은 채 더 빠르고 효율적이며 정확한 전색상 디지털 병리학 방법을 개발하기 위해
• FPM에서 일관된 색상 표현을 위한 CIE-XYZ 및 sRGB 기반의 색상 공간 모델을 수립하기 위해
• 고속 병리 영상 촬영을 위한 다중 파장 FPM의 대안으로서 색상 전송의 실현 가능성과 성능을 평가하기 위해

제안 방법

• 비지도 색상 전송을 사용하여 저해상도(LR) 전색상 기부자 이미지의 색조 무늬를 고해상도(HR) 회색조 FPM 복원 이미지에 전송한다.
• 기부자 이미지를 sRGB에서 Lab 색상 공간으로 변환하여 밝기(L)와 색채도(a, b)를 분리함으로써 강건한 색상 전송을 구현한다.
• 기부자 이미지와 수신자 이미지의 색채도 채널(a, b)에 대한 누적분포함수(CDF)를 일치시켜 색상 전송을 수행한다.
• 수신자 이미지로 단일 파장 FPM 복원을 사용하며, 최대 대trast를 확보하기 위해 최적의 염색 흡수 특성에 맞는 파장을 선택한다.
• CIE-XYZ 표준 기반의 색상 공간 모델을 수립하고, 표시 호환성을 확보하기 위해 sRGB로 매핑한다.
• RMSE 및 복구 시간과 같은 정량적 지표를 사용하여 30개의 생물 샘플에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 저해상도 전색상 이미지의 색조 무늬를 고해상도 회색조 FPM 이미지에 효과적으로 전송하여 전색상 복원을 달성할 수 있는가?
• RQ2 정확도와 촬영 시간 측면에서 제안된 CFPM 방법이 기존의 삼파장 FPM 및 파장multiplexed FPM과 비교해 어떻게 성능을 내는가?
• RQ3 조명 파장 선택이 CFPM 성능에 미치는 영향은 무엇이며, 이는 염료의 흡수 특성과 어떻게 관련되는가?
• RQ4 기존 방법 대비 촬영 시간을 2/3 감소시키는 동안 CFPM이 높은 이미지 품질을 유지할 수 있는가?
• RQ5 CFPM 방법은 고속 FPM 기법과 호환되어 계산 시간을 추가로 줄일 수 있는가?

주요 결과

• 기존 삼파장 FPM 방법의 평균 제곱근오차(RMSE)는 5.3%이며, CFPM는 기준값과 비교해 5.7%로 매우 낮은 정확도 손실을 보였다.
• CFPM는 단일 파장만을 사용하므로 기존 FPM 대비 촬영 시간을 약 2/3 감소시켰다.
• 이 방법은 빠른 FPM 접근법과 호환되어 계산 시간을 추가로 줄일 수 있다.
• CFPM의 성능은 파장에 따라 달라지며, 사용된 염료의 흡수 피크와 일치하는 조명 파장에서 최적의 결과를 얻는다.
• 단일 염료로 염색된 샘플에 대해 CFPM는 가장 우수한 성능을 보이며, 서로 다른 흡수 프로필을 가진 다수의 염료를 사용할 경우 정확한 색상 재현에 실패할 수 있다.
• WMFPM 방법의 평균 RMSE는 11.85%로 기존 FPM 및 CFPM보다 현저히 높아, 빠른 촬영에도 불구하고 정확도가 떨어지는 것으로 나타났다.