[论文解读] AI-based automated Meibomian gland segmentation, classification and reflection correction in infrared Meibography

Ripon K. Saha, A. M. Mahmud Chowdhury+7 more|arXiv (Cornell University)|May 31, 2022

Ocular Surface and Contact Lens被引用 4

一句话总结

本研究提出了一种基于深度学习的框架，用于在非接触式红外睑脂腺摄影中全自动分割睑脂腺（MG）和眼睑，实现对MG面积、MG比值及睑脂腺评分分类的精确量化。该方法进一步引入一种基于生成对抗网络（GAN）的方法，以校正镜面反射而不扭曲腺体形态，与专家标注结果高度一致，并在诊断准确性上优于人工分级。

ABSTRACT

Purpose: Develop a deep learning-based automated method to segment meibomian glands (MG) and eyelids, quantitatively analyze the MG area and MG ratio, estimate the meiboscore, and remove specular reflections from infrared images. Methods: A total of 1600 meibography images were captured in a clinical setting. 1000 images were precisely annotated with multiple revisions by investigators and graded 6 times by meibomian gland dysfunction (MGD) experts. Two deep learning (DL) models were trained separately to segment areas of the MG and eyelid. Those segmentation were used to estimate MG ratio and meiboscores using a classification-based DL model. A generative adversarial network was implemented to remove specular reflections from original images. Results: The mean ratio of MG calculated by investigator annotation and DL segmentation was consistent 26.23% vs 25.12% in the upper eyelids and 32.34% vs. 32.29% in the lower eyelids, respectively. Our DL model achieved 73.01% accuracy for meiboscore classification on validation set and 59.17% accuracy when tested on images from independent center, compared to 53.44% validation accuracy by MGD experts. The DL-based approach successfully removes reflection from the original MG images without affecting meiboscore grading. Conclusions: DL with infrared meibography provides a fully automated, fast quantitative evaluation of MG morphology (MG Segmentation, MG area, MG ratio, and meiboscore) which are sufficiently accurate for diagnosing dry eye disease. Also, the DL removes specular reflection from images to be used by ophthalmologists for distraction-free assessment.

研究动机与目标

• 开发一种深度学习模型，用于在红外睑脂腺摄影图像中全自动分割睑脂腺和眼睑。
• 实现对MG面积、MG比值及睑脂腺评分的高精度定量评估。
• 利用生成对抗网络（GAN）校正睑脂腺摄影图像中的镜面反射，以提升图像清晰度，便于临床评估。
• 通过多种指标和独立数据集，验证模型性能与专家标注的一致性。
• 发布MGD-1K数据集，这是首个公开可用的高质量数据集，包含精确的MG和眼睑分割标注及睑脂腺评分，用于开放研究。

提出的方法

• 训练两个独立的深度学习模型，从非接触式红外睑脂腺摄影图像中分割睑脂腺和眼睑。
• 使用基于分类的深度学习模型，从分割后的MG和眼睑区域估计睑脂腺评分。
• 采用基于GAN的架构，从原始图像中去除镜面反射，同时保留底层MG结构。
• 应用多种验证策略：线性回归、Bland-Altman分析，以及与年龄和临床分级的相关性分析。
• 使用1,600张临床睑脂腺摄影图像，经由MGD专家在六轮分级会中多次修订后完成标注。
• 模型推理速度为每张图像0.3秒，无需微调即可支持上下眼睑的全自动分析。

实验结果

研究问题

• RQ1 深度学习模型能否在红外睑脂腺摄影图像中实现高精度、全自动的睑脂腺和眼睑分割？
• RQ2 基于深度学习的睑脂腺评分分类性能在不同数据集上与专家分级相比如何？
• RQ3 镜面反射校正能在多大程度上提升图像质量与诊断清晰度，同时不改变MG形态或测量精度？
• RQ4 与MGD专家的手动标注相比，深度学习生成的MG面积和MG比值测量结果一致性如何？
• RQ5 所提出的方法能否在独立的临床中心和不同图像采集设备上实现泛化？

主要发现

• 深度学习模型在上眼睑中测得的MG比值平均为25.12%，在下眼睑中为32.29%，与专家标注值26.23%和32.34%非常接近。
• 在验证集上，模型在睑脂腺评分分类中达到73.01%的准确率，在独立测试中心数据集上达到59.17%的准确率，优于MGD专家在验证集上的53.44%准确率。
• 基于GAN的镜面反射校正方法成功恢复了受反射影响的区域，未引入伪影，同时保持了MG结构和测量完整性的稳定。
• Bland-Altman分析与线性回归结果证实，深度学习与专家标注的MG面积和MG比值之间具有高度一致性，校正后无显著差异。
• 模型每张图像处理时间仅为0.3秒，支持对上下眼睑的实时、全自动分析，无需人工干预。
• 本研究发布了MGD-1K数据集，这是首个公开的、高质量数据集，包含精确的MG和眼睑分割标注及睑脂腺评分，用于开放研究。