[논문 리뷰] Learning Mutually Local-global U-nets For High-resolution Retinal Lesion Segmentation in Fundus Images

Zizheng Yan, Xiaoguang Han외 4명|arXiv (Cornell University)|2019. 01. 18.

Retinal Imaging and Analysis참고 문헌 12인용 수 19

한 줄 요약

이 논문은 고해상도 망막 병변 분할을 향상시키기 위해 전역 다운샘플링 U-Net과 패치 기반 U-Net을 공동 최적화하는 상호 강화된 국소-전역 U-Net 프레임워크를 제안한다. 전역 디코더의 특징 맵을 국소 디코더에 융합하고 두 브랜치를 공동으로 훈련시음으로써, 미세동맥류와 딱경화성 경화물과 같은 작은 산발성 병변에 대해 뛰어난 성능을 달성하며, 독립적인 전역 및 국소 네트워크를 모두 능가한다.

ABSTRACT

Diabetic retinopathy is the most important complication of diabetes. Early diagnosis of retinal lesions helps to avoid visual loss or blindness. Due to high-resolution and small-size lesion regions, applying existing methods, such as U-Nets, to perform segmentation on fundus photography is very challenging. Although downsampling the input images could simplify the problem, it loses detailed information. Conducting patch-level analysis helps reaching fine-scale segmentation yet usually leads to misunderstanding as the lack of context information. In this paper, we propose an efficient network that combines them together, not only being aware of local details but also taking fully use of the context perceptions. This is implemented by integrating the decoder parts of a global-level U-net and a patch-level one. The two streams are jointly optimized, ensuring that they are enhanced mutually. Experimental results demonstrate our new framework significantly outperforms existing patch-based and global-based methods, especially when the lesion regions are scattered and small-scaled.

연구 동기 및 목표

• 전역 방법에서는 세부 정보를 상실하고 국소 방법에서는 맥락이 부족한 고해상도 망막 영상에서 작은 산발성 병변을 분할하는 데 도전하는 것.
• 기존의 패치 기반 및 전역 기반 U-Net 접근 방식의 한계를 극복하기 위해 국소 세밀한 특징과 전역 맥락 인식을 통합하는 것.
• 국소 및 전역 분할 브랜치 간의 상호 강화를 가능하게 하는 통합된 엔드 투 엔드 훈련 가능한 프레임워크를 설계하는 것.
• 현재 방법들이 해상도와 맥락의 상충 관계로 인해 어려움을 겪는 작은 산발성 병변인 미세동맥류와 딱경화성 경화물의 분할 정확도를 향상시키는 것.

제안 방법

• 프레임워크는 두 개의 U-Net 브랜치로 구성되며, 전역 다운샘플링 이미지를 처리하여 굵은 분할 맵을 생성하는 GlobalNet과, 잘라낸 패치를 처리하여 세밀한 분할을 수행하는 LocalNet이다.
• GlobalNet 디코더의 특징 맵을 자르고 해당 레이어에 LocalNet 디코더에 연결하여 국소 예측에 전역 맥락을 통합한다.
• 공유된 손실 함수를 통해 두 브랜치를 공동 최적화함으로써 상호 강화를 실현: 국소 손실은 전역 특징 학습을 향상시키고, 전역 맥락은 국소 모호성을 줄인다.
• 3단계 훈련 전략을 적용: 먼저 GlobalNet과 LocalNet을 별도로 사전 훈련하고, 그 다음 융합 모듈을 미세 조정한 후, 마지막으로 전체 네트워크를 엔드 투 엔드로 미세 조정한다.
• 최종 분할 결과는 모든 패치의 예측을 조합하여 얻으며, 각 256×256 패치의 추론 시간은 10–30 ms이다.

실험 결과

연구 질문

• RQ1 통합된 딥 러닝 프레임워크는 고해상도 망막 병변 분할에서 국소 세부 정보 민감도와 전역 맥락 인식을 효과적으로 융합할 수 있는가?
• RQ2 국소 및 전역 U-Net 브랜치의 공동 최적화가 고립된 국소 또는 전역 모델에 비해 작은 산발성 병변에서 성능 향상을 이끌 수 있는가?
• RQ3 전역 맥락을 국소 분할에 융합함으로써 패치 경계를 넘어서서 잘못 분류되거나 일관성 없어지는 현상을 줄일 수 있는가?
• RQ4 어떤 병변 유형(예: 미세동맥류 대 비출혈)에서 제안된 방법이 가장 큰 성능 향상을 보이는가?

주요 결과

• 제안된 융합 모델은 딱경화성 경화물(EX)에 대해 AUPR 0.889를 기록하여 GlobalNet(0.849)과 LocalNet(0.845)을 크게 앞서간다.
• 미세동맥류(MA)의 경우 융합 모델은 AUPR 0.525를 달성하여 GlobalNet(0.484)과 LocalNet(0.433)을 초월한다.
• 모델은 산발적이고 작은 병변에서 가장 우수한 성능을 보인다: 전역 방법은 세부 정보를 상실하고 국소 방법은 맥락이 부족한 EX와 MA에서 성능 향상을 이룬다.
• 출혈(HE)과 연화성 경화물(SE)과 같은 더 큰, 더 단단한 병변의 경우 GlobalNet이 여전히 융합 모델을 앞서며, 이는 본 방법이 가장 작은 산발성 목표물에 대해 가장 효과적임을 시사한다.
• 2018 ISBI 그랜드 챌린지 랭킹에서 최신 기술 성능을 기록하며, U-Net을 백본으로 사용한 모든 보고된 결과를 초월한다.
• 3단계 훈련 전략—사전 훈련, 융합 모듈의 미세 조정, 엔드 투 엔드 미세 조정—은 안정적인 수렴과 브랜치 간 효과적인 특징 전달을 보장한다.