[논문 리뷰] Self-Supervised ImageNet Representations for In Vivo Confocal Microscopy: Tortuosity Grading without Segmentation Maps

Kim Ouan, Noémie Moreau외 1명|arXiv (Cornell University)|2026. 03. 16.

Ocular Surface and Contact Lens인용 수 0

한 줄 요약

본 논문은 자기지도(self-supervised) ImageNet 특징(DINO 변형)이 세그먼트 맵 없이 생체 내 공초점 현미경에서 각막 신경의 곡률을 등급화할 수 있으며, 미세 조정 후 최첨단 성능을 달성한다는 것을 보인다.

ABSTRACT

The tortuosity of corneal nerve fibers are used as indication for different diseases. Current state-of-the-art methods for grading the tortuosity heavily rely on expensive segmentation maps of these nerve fibers. In this paper, we demonstrate that self-supervised pretrained features from ImageNet are transferable to the domain of in vivo confocal microscopy. We show that DINO should not be disregarded as a deep learning model for medical imaging, although it was superseded by two later versions. After careful fine-tuning, DINO improves upon the state-of-the-art in terms of accuracy (84,25%) and sensitivity (77,97%). Our fine-tuned model focuses on the key morphological elements in grading without the use of segmentation maps.

연구 동기 및 목표

• ImageNet으로 사전 학습된 자기지도 특징의 IVCM 곡률 등급으로의 전이 가능성을 시연한다.
• CORN 데이터셋에서 선형 프로빙으로 DINO, DINOv2, DINOv3 표현을 평가한다.
• 세그먼트 맵 없이 최고 성능의 백본을 미세 조정하여 등급 정확도와 민감도를 최대화한다.

제안 방법

• 네 가지 수준의 곡률 레이블을 가진 CORN1500 및 CORN-3 데이터셋을 사용한다.
• 고정된 백본에 단일 선형 층을 부착하고 100 에폭 동안 학습시켜 선형 프로빙을 평가한다.
• 부분 백본 동결과 AdamW 최적화를 사용하여 미세 조정할 최적의 DINO 변형(DINO ViT-B)을 선택한다.
• 선형 워밍업과 코사인 감소 일정으로 미세 조정하고 단일 GPU에서 조기 중지 적용한다.
• 세그먼트 맵에 의존하는 최첨단 방법과의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 자기지도 ImageNet 표현이 세그먼트 맵 없이 IVCM에서 곡률 등급화를 가능하게 할 수 있는가?
• RQ2 어떤 DINO 버전과 모델 크기가 곡률 분류에서 최상의 선형 프로빙 성능을 제공하는가?
• RQ3 고정된 백본 DINO를 미세 조정하는 것이 곡률 등급을 최첨단 수준으로 향상시키는가?
• RQ4 생성된 어텐션 맵이 해부학적으로 관련된 신경 섬유 특징(분지점, 곡률이 큰 구간)에 초점을 맞추는가?

주요 결과

• 동결된 DINO 표현은 CORN-3에서 경쟁력 있는 선형 프로빙 성능을 달성하며, DINO ViT-B/16이 종종 지표 간 최적의 균형을 제공한다.
• 미세 조정된 DINO ViT-B/16은 세그먼트 맵 없이 최첨단 결과를 달성한다: CORN-3에서 wAcc 84.25%, wSe 77.97%, wSp 84.81%.
• 이 작업의 선형 프로빙에서 더 크거나 새로운 백본을 가진 DINO 변형은 일반적으로 DINO ViT-B/16보다 성능이 떨어진다.
• 미세 조정 후 어텐션 맵은 분지점과 곡선 구간과 같이 곱률 관련 영역에 모델이 집중함을 나타낸다.
• CORN-3-noD에서, 미세 조정된 DINO ViT-B/16은 wAcc 83.71%, wSe 75.88%, wSp 87.92%를 달성한다.