[论文解读] High-throughput fast full-color digital pathology based on Fourier ptychographic microscopy via color transfer

Yuting Gao, Jiurun Chen+4 more|arXiv (Cornell University)|Jan 19, 2021

Advanced X-ray Imaging Techniques参考文献 55被引用 34

一句话总结

本文提出了一种彩色转移傅里叶叠层显微成像（CFPM）方法，这是一种高通量的全彩数字病理学技术，可将低分辨率（LR）全彩图像中的彩色纹理传输至使用单一波长捕获的高分辨率（HR）灰度FPM图像中。通过在Lab色彩空间中采用无监督彩色转移方法，CFPM将采集时间减少了2/3，仅导致均方根误差（RMSE）增加0.4%（5.7%对比5.3%），与传统三波长FPM相比，实现了快速、精确且高效的全彩成像，且与先进FPM技术兼容。

ABSTRACT

Full-color imaging is significant in digital pathology. Compared with a grayscale image or a pseudo-color image that only contains the contrast information, it can identify and detect the target object better with color texture information. Fourier ptychographic microscopy (FPM) is a high-throughput computational imaging technique that breaks the tradeoff between high resolution (HR) and large field-of-view (FOV), which eliminates the artifacts of scanning and stitching in digital pathology and improves its imaging efficiency. However, the conventional full-color digital pathology based on FPM is still time-consuming due to the repeated experiments with tri-wavelengths. A color transfer FPM approach, termed CFPM was reported. The color texture information of a low resolution (LR) full-color pathologic image is directly transferred to the HR grayscale FPM image captured by only a single wavelength. The color space of FPM based on the standard CIE-XYZ color model and display based on the standard RGB (sRGB) color space were established. Different FPM colorization schemes were analyzed and compared with thirty different biological samples. The average root-mean-square error (RMSE) of the conventional method and CFPM compared with the ground truth is 5.3% and 5.7%, respectively. Therefore, the acquisition time is significantly reduced by 2/3 with the sacrifice of precision of only 0.4%. And CFPM method is also compatible with advanced fast FPM approaches to reduce computation time further.

研究动机与目标

• 解决传统全彩傅里叶叠层显微成像（FPM）因需在三个波长下重复成像而导致的耗时问题。
• 开发一种更快、更高效且准确的全彩数字病理学方法，同时不损害图像质量。
• 基于CIE-XYZ和sRGB建立色彩空间模型，以实现在FPM中的一致色彩表示。
• 评估色彩转移作为多波长FPM替代方案在高通量病理学成像中的可行性与性能。

提出的方法

• 利用无监督色彩转移方法，将低分辨率（LR）全彩供体图像的色彩纹理传输至高分辨率（HR）灰度FPM重建图像。
• 将供体图像从sRGB色彩空间转换至Lab色彩空间，以解耦亮度（L）与色度（a, b），实现鲁棒的色彩传输。
• 通过匹配供体图像与接收图像在色度通道（a, b）上的累积分布函数（CDF），实现色彩传输。
• 选用在最佳染料吸收波长下进行的单波长FPM重建作为接收图像，以最大化对比度。
• 基于CIE-XYZ标准建立色彩空间模型，并映射至sRGB以确保显示兼容性。
• 通过均方根误差（RMSE）和恢复时间等定量指标，在30个生物样本上验证该方法。

实验结果

研究问题

• RQ1 能否有效将低分辨率全彩图像中的色彩纹理传输至高分辨率灰度FPM图像，以实现全彩重建？
• RQ2 与传统三波长FPM及波分复用FPM相比，CFPM方法在准确性和采集时间方面的表现如何？
• RQ3 照明波长选择对CFPM性能有何影响？其与染料吸收特性的关系是什么？
• RQ4 CFPM能否在将采集时间减少三分之二的同时保持高图像质量？
• RQ5 CFPM方法是否与先进快速FPM技术兼容，从而进一步缩短计算时间？

主要发现

• 传统三波长FPM方法的平均均方根误差（RMSE）为5.3%，而CFPM与真实值相比仅增加0.4%，达到5.7%，表明精度损失极小。
• CFPM相比传统FPM将采集时间减少了约2/3，因为仅使用单一波长进行FPM重建。
• 该方法与快速FPM方法兼容，可进一步缩短计算时间。
• CFPM的性能具有波长依赖性，当照明波长与所用染料的吸收峰匹配时，性能最佳。
• CFPM在使用单一染料染色的样本中表现最佳；当使用具有不同吸收特性的多种染料时，可能无法正确再现颜色。
• WMFPM方法的平均RMSE为11.85%，显著高于传统FPM和CFPM，表明尽管其采集速度较快，但准确性有限。