[논문 리뷰] AI-based automated Meibomian gland segmentation, classification and reflection correction in infrared Meibography

Ripon K. Saha, A. M. Mahmud Chowdhury외 7명|arXiv (Cornell University)|2022. 05. 31.

Ocular Surface and Contact Lens인용 수 4

한 줄 요약

이 연구는 비접촉 적외선 메이보그라피에서 복합성선(메이보미안 땀샘, MG)과 눈꺼풀을 완전 자동으로 분할하는 딥러닝 기반 프레임워크를 제안하며, MG 면적, MG 비율 및 메이보스코어 분류를 정확하게 정량화할 수 있도록 한다. 또한, 색체 반사 영역을 왜곡 없이 보정하기 위해 GAN 기반 방법을 도입하여 전문가의 주석과 높은 일致성을 확보하고 수동 평가 대비 진단 정확도를 향상시켰다.

ABSTRACT

Purpose: Develop a deep learning-based automated method to segment meibomian glands (MG) and eyelids, quantitatively analyze the MG area and MG ratio, estimate the meiboscore, and remove specular reflections from infrared images. Methods: A total of 1600 meibography images were captured in a clinical setting. 1000 images were precisely annotated with multiple revisions by investigators and graded 6 times by meibomian gland dysfunction (MGD) experts. Two deep learning (DL) models were trained separately to segment areas of the MG and eyelid. Those segmentation were used to estimate MG ratio and meiboscores using a classification-based DL model. A generative adversarial network was implemented to remove specular reflections from original images. Results: The mean ratio of MG calculated by investigator annotation and DL segmentation was consistent 26.23% vs 25.12% in the upper eyelids and 32.34% vs. 32.29% in the lower eyelids, respectively. Our DL model achieved 73.01% accuracy for meiboscore classification on validation set and 59.17% accuracy when tested on images from independent center, compared to 53.44% validation accuracy by MGD experts. The DL-based approach successfully removes reflection from the original MG images without affecting meiboscore grading. Conclusions: DL with infrared meibography provides a fully automated, fast quantitative evaluation of MG morphology (MG Segmentation, MG area, MG ratio, and meiboscore) which are sufficiently accurate for diagnosing dry eye disease. Also, the DL removes specular reflection from images to be used by ophthalmologists for distraction-free assessment.

연구 동기 및 목표

• 비접촉 적외선 메이보그라피 영상에서 메이보미안 땀샘과 눈꺼풀을 완전 자동으로 분할하기 위한 딥러닝 모델 개발
• 높은 정확도로 MG 면적, MG 비율 및 메이보스코어를 정량 평가할 수 있도록 하기
• 생성적 적대적 네트워크(GAN)를 사용해 메이보그라피 영상의 색체 반사 영역을 보정하여 임상 평가에 적합한 영상 명도 향상
• 다양한 지표와 독립된 데이터셋을 기반으로 전문가 주석과의 성능 비교를 통한 모델 검증
• 공개 가능한 고품질 데이터셋인 MGD-1K 데이터셋을 제공하여 개방형 연구를 위한 기반 마련

제안 방법

• 비접촉 적외선 메이보그라피 영상에서 메이보미안 땀샘과 눈꺼풀을 분할하기 위해 별도의 두 개의 딥러닝 모델을 훈련
• 분할된 MG 및 눈꺼풀 영역을 기반으로 분류 기반 딥러닝 모델을 활용해 메이보스코어 추정
• 원본 영상의 색체 반사 영역을 제거하면서도 기저의 MG 구조를 유지하는 GAN 기반 아키텍처 구현
• 다양한 검증 전략 적용: 선형 회귀, Bland-Altman 분석, 연령 및 임상 평가와의 상관관계 분석
• 1,600장의 임상 메이보그라피 영상 사용. 다섯 번의 수정을 거친 MGD 전문가들이 6회 평가 세션을 통해 1,000장에 대해 주석 처리
• 이미지당 0.3초 이내의 추론 시간으로, 재학습 없이도 상하 눈꺼풀 모두에 대해 실시간 분석 지원

실험 결과

연구 질문

• RQ1 딥러닝 모델이 적외선 메이보그라피 영상에서 메이보미안 땀샘과 눈꺼풀을 고정확도로 자동 분할할 수 있는가?
• RQ2 다양한 데이터셋에서 딥러닝 기반 메이보스코어 분류 성능은 전문가 평가 대비 어떻게 비교되는가?
• RQ3 색체 반사 보정이 MG 구조나 측정 정확도에 영향을 주지 않으면서 영상 품질 향상과 진단 명확성 향상에 얼마나 기여하는가?
• RQ4 딥러닝 기반의 MG 면적 및 MG 비율 측정은 MGD 전문가의 수동 주석과 얼마나 일치하는가?
• RQ5 제안된 방법은 독립된 임상 기관 및 다양한 영상 촬영 장치 간에 일반화 가능한가?

주요 결과

• 딥러닝 모델은 상눈꺼풀에서 평균 MG 비율 25.12%와 하눈꺼풀에서 32.29%를 기록했으며, 각각 전문가 주석 값인 26.23% 및 32.34%와 유사한 결과를 보였다.
• 검증 세트에서 메이보스코어 분류 정확도는 73.01%를 기록했고, 독립된 테스트 센터 데이터셋에서는 59.17%로, MGD 전문가의 검증 정확도 53.44%를 초월했다.
• GAN 기반 모델을 통한 색체 반사 보정은 임의의 아티팩트를 유발하지 않으면서도 반사 영향을 받은 영역을 성공적으로 복원했으며, MG 구조와 측정 정확도를 유지했다.
• Bland-Altman 분석과 선형 회귀 분석을 통해 딥러닝과 전문가 주석 간의 MG 면적 및 MG 비율에 대해 강한 일치를 확인했으며, 반사 보정 이후 유의미한 차이가 없었다.
• 모델은 이미지당 0.3초 내로 처리하여, 수동 개입 없이 상하 눈꺼풀 모두에 대해 실시간으로 완전 자동 분석이 가능했다.
• 본 연구는 MGD-1K 데이터셋을 공개하여, 정확한 MG 및 눈꺼풀 분할과 메이보스코어 레이블이 포함된 최초의 공개 가능하고 고품질의 데이터셋을 개방형 연구를 위해 제공했다.