[논문 리뷰] JOINED : Prior Guided Multi-task Learning for Joint Optic Disc/Cup Segmentation and Fovea Detection

Huaqing He, Lin Li외 2명|arXiv (Cornell University)|2022. 03. 01.

Retinal Imaging and Analysis인용 수 7

한 줄 요약

이 논문은 거리 예측과 히트맵 기반 검출을 통합하여 망막 영상에서 시신경판/시각판 세그멘테이션과 중심극 검출을 동시에 수행하는 사전 지식 유도 다중 작업 학습 프레임워크인 JOINED를 제안한다. 이는 GAMMA, PALM, REFUGE 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성했으며, MICCAI2021 OMIA8 경연 대회에서 5위를 기록했고, 망막병변 진단에 중요한 vCDR 지표에서 3위를 차지했다.

ABSTRACT

Fundus photography has been routinely used to document the presence and severity of various retinal degenerative diseases such as age-related macula degeneration, glaucoma, and diabetic retinopathy, for which the fovea, optic disc (OD), and optic cup (OC) are important anatomical landmarks. Identification of those anatomical landmarks is of great clinical importance. However, the presence of lesions, drusen, and other abnormalities during retinal degeneration severely complicates automatic landmark detection and segmentation. Most existing works treat the identification of each landmark as a single task and typically do not make use of any clinical prior information. In this paper, we present a novel method, named JOINED, for prior guided multi-task learning for joint OD/OC segmentation and fovea detection. An auxiliary branch for distance prediction, in addition to a segmentation branch and a detection branch, is constructed to effectively utilize the distance information from each image pixel to landmarks of interest. Our proposed JOINED pipeline consists of a coarse stage and a fine stage. At the coarse stage, we obtain the OD/OC coarse segmentation and the heatmap localization of fovea through a joint segmentation and detection module. Afterwards, we crop the regions of interest for subsequent fine processing and use predictions obtained at the coarse stage as additional information for better performance and faster convergence. Experimental results reveal that our proposed JOINED outperforms existing state-of-the-art approaches on the publicly-available GAMMA, PALM, and REFUGE datasets of fundus images. Furthermore, JOINED ranked the 5th on the OD/OC segmentation and fovea detection tasks in the GAMMA challenge hosted by the MICCAI2021 workshop OMIA8.

연구 동기 및 목표

• 병변과 퇄퇴성 변화로 인해 복잡해지는 망막 영상에서 정확한 지점 검출 문제를 해결하기 위해.
• 다양한 해부학적 지점에서의 임상적 사전 지식을 활용하여 세그멘테이션 및 국소화 성능을 향상시키기 위해.
• 다중 작업 학습을 통해 시신경판/시각판 세그멘테이션과 중심극 검출을 통합 최적화하는 통합 프레임워크를 개발하기 위해.
• 粗-세분 처리 및 보조 거리 예측을 통해 모델의 안정성과 수렴 속도를 향상시키기 위해.
• 망막 영상 분석에서 거리 인식 감독과 히트맵 회귀를 통합하는 것이 효과적인지 검증하기 위해.

제안 방법

• 거친 단계에서 초기 세그멘테이션과 중심극 국소화를 수행한 후, 관심 영역을 추출하여 세밀한 단계로 진행하는 이중 단계 파이프라인을 제안한다.
• 각 픽셀에서 시신경판, 시각판, 중심극까지의 거리를 예측하는 거리 예측 브랜치를 도입하여 세그멘테이션과 검출에 사전 지식을 제공한다.
• 중심극을 국소화하기 위해 히트맵 회귀 브랜치를 활용하여 검출 작업에 정밀한 공간적 감독을 제공한다.
• 세그멘테이션, 검출(히트맵), 거리 예측의 세 가지 병렬 브랜치를 가진 공유 인코더-디코더 백본을 사용한다.
• 좌표 회귀와 히트맵 검출 출력을 조합하여 앙상블 추론을 적용하여 국소화 안정성을 향상시킨다.
• 세그멘테이션 교차 엔트로피, 검출 평균 절대 오차(MAE), 거리 예측 손실의 가중 합을 사용한 다중 작업 손실을 적용한다.

실험 결과

연구 질문

• RQ1 모든 픽셀에서 주요 해부학적 지점까지의 거리 정보를 통합하면 망막 영상의 세그멘테이션 및 검출 성능이 향상되는가?
• RQ2 검출 및 거리 예측을 포함한 통합 다중 작업 학습이 시신경판/시각판 세그멘테이션과 중심극 국소화의 정확성과 안정성에 어떻게 기여하는가?
• RQ3 관심 영역 추출을 통한 거친-세밀한 전략이 모델 수렴과 성능 향상에 어느 정도 기여하는가?
• RQ4 중심극 위치와 상대적 공간 사전 지식을 통합하면 다양한 품질의 이미지를 포함한 다양한 데이터셋에서 더 나은 일반화 성능을 달성하는가?
• RQ5 특히 망막병변 진단에 중요한 vCDR 지표에서, 제안된 프레임워크는 최신 기술 수준(SOTA) 메서드와 비교해 어떤가?

주요 결과

• JOINED는 GAMMA 데이터셋에서 시신경판 세그멘테이션의 최고 Dice 스코어(95.53 ± 5.60%)와 시각판 세그멘테이션의 최고 Dice 스코어(86.89 ± 9.10%)를 기록하여 UNet, UNet++, DeepLabv3+를 포함한 모든 베이스라인 모델을 압도했다.
• MICCAI2021 OMIA8 경연 대회에서 모든 지표의 병합 스코어로 5위를 기록했으며, 망막병변 진단에 핵심적인 vCDR 지표에서 3위를 차지했다.
• 절단 실험 결과, 거리 예측 브랜치를 추가함으로써 세그멘테이션 안정성이 향상되고 표준편차가 감소했으며, Dice 스코어는 약간 감소했음에도 불구하고 성능이 향상됨을 확인했다.
• 검출 브랜치(히트맵)와 거리 브랜치를 개별적으로 포함시켰을 때 성능 향상이 있었지만, 세 가지 브랜치를 모두 포함한 전체 JOINED 모델이 가장 우수한 종합 성능을 기록했다.
• 시각화 결과, JOINED는 특히 GAMMA 및 PALM 데이터셋의 저품질 영상에서 기존 방법보다 더 정밀하고 정확한 세그멘테이션 마스크를 생성하는 것으로 나타났다.
• 모델는 다양한 데이터셋에서 뛰어난 내성성을 보였으며, 고품질(REFUGE) 및 저품질(GAMMA, PALM) 영상 모두에서 높은 성능을 유지했다.