[논문 리뷰] The Little W-Net That Could: State-of-the-Art Retinal Vessel Segmentation with Minimalistic Models

Adrián Galdrán, André Anjos외 4명|arXiv (Cornell University)|2020. 09. 03.

Retinal Imaging and Analysis인용 수 16

한 줄 요약

이 논문은 최신 기술 모델들보다 수 개의 주기 수준으로 더 적은 파라미터를 가진 최소화된 W-Net 아키텍처를 제안하며, 여러 벤치마크 데이터셋에서 최신 기술 수준의 망막 혈관 세분화 성능을 달성한다. 단순한 구조임에도 불구하고, AUC 및 DICE 점수에서 복잡한 모델들을 능가하며 자원 제약 환경에서의 구현에 매우 효율적이다.

ABSTRACT

The segmentation of the retinal vasculature from eye fundus images represents one of the most fundamental tasks in retinal image analysis. Over recent years, increasingly complex approaches based on sophisticated Convolutional Neural Network architectures have been slowly pushing performance on well-established benchmark datasets. In this paper, we take a step back and analyze the real need of such complexity. Specifically, we demonstrate that a minimalistic version of a standard U-Net with several orders of magnitude less parameters, carefully trained and rigorously evaluated, closely approximates the performance of current best techniques. In addition, we propose a simple extension, dubbed W-Net, which reaches outstanding performance on several popular datasets, still using orders of magnitude less learnable weights than any previously published approach. Furthermore, we provide the most comprehensive cross-dataset performance analysis to date, involving up to 10 different databases. Our analysis demonstrates that the retinal vessel segmentation problem is far from solved when considering test images that differ substantially from the training data, and that this task represents an ideal scenario for the exploration of domain adaptation techniques. In this context, we experiment with a simple self-labeling strategy that allows us to moderately enhance cross-dataset performance, indicating that there is still much room for improvement in this area. Finally, we also test our approach on the Artery/Vein segmentation problem, where we again achieve results well-aligned with the state-of-the-art, at a fraction of the model complexity in recent literature. All the code to reproduce the results in this paper is released.

연구 동기 및 목표

• 망막 혈관 세분화를 위한 딥러닝 모델의 과도한 복잡성 추세에 도전하기 위해.
• 최소화된 아키텍처가 복잡한 최신 기술 모델들과 동일하거나 이를 초월하는 성능을 낼 수 있는지 평가하기 위해.
• 10개의 다양한 데이터베이스를 포함하는, 지금까지 가장 광범위한 교차 데이터셋 평가를 수행하기 위해.
• 기존 모델이 도메인 간 일반화 능력에 한계를 보이는 이유를 조사하고, 도메인 적응 전략을 탐색하기 위해.
• 최소화된 접근 방식을 동맥/靜맥 세분화 작업으로 확장하여, 모델 복잡도를 감소시키면서도 경쟁 가능한 성능을 달성하기 위해.

제안 방법

• 기본 U-Net에서 유도된 깊이와 너비를 감소시켜 총 68K개의 학습 가능한 파라미터를 가진 최소화된 W-Net 변종을 제안한다.
• 대상 도메인의 비라벨 데이터를 활용하여 교차 데이터셋 일반화를 향상시키기 위해 자기 레이블링 전략을 도입한다.
• 표준 학습 절차를 사용하며, 교차 엔트로피 손실과 데이터 증강 기법을 적용하고, 추론 시 테스트 시간 증강을 포함한다.
• 성능 차이의 통계적 유의성을 평가하기 위해 부트스트랩 리샘플링을 철저히 수행한다.
• 모델의 성능 향상이 파라미터 수의 증가 때문인지 아키텍처 설계의 우수성 때문인지 확인하기 위해, 더 큰 U-Net(76K 파라미터)과 비교한다.
• 모든 코드와 학습된 모델을 공개하여 재현 가능성 확보 및 향후 연구 지원을 위해 노력한다.

실험 결과

연구 질문

• RQ1 매우 적은 파라미터를 가진 최소화된 딥러닝 모델이 망막 혈관 세분화에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 다양한 데이터셋에서 최소화된 W-Net의 성능가 더 복잡한 최근에 발표된 아키텍처들과 비교해 어떻게 되는가?
• RQ3 학습 분포와 다른 데이터셋에서 테스트할 경우 모델의 일반화 능력이 얼마나 떨어지는가?
• RQ4 추가 애너테이션 없이도 단순한 자기 레이블링 전략이 교차 데이터셋 성능 향상에 기여할 수 있는가?
• RQ5 표준 벤치마크에서 높은 성능를 기록하고 있음에도 불구하고, 망막 혈관 세분화 작업은 여전히 도메인 적응 기법의 적용 여지가 있는가?

주요 결과

• 최소화된 W-Net은 DRIVE에서 DICE 점수 82.82, CHASE-DB에서 81.55, HRF에서 81.04를 기록하며, 더 큰 U-Net(76K 파라미터)와 더불어 더 복잡한 모델들을 능가한다.
• DRIVE에서 AUC 98.09, CHASE-DB에서 98.44, HRF에서 98.24를 기록하여 기존 SOTA 모델들보다 뛰어난 성능를 입증한다.
• 부트스트랩 리샘플링을 통한 통계 분석 결과, 모든 데이터셋에서 5% 유의수준에서 W-Net의 성능가 더 큰 U-Net보다 유의미하게 뛰어나다는 것이 확인되었다.
• 모델는 디스크 공간이 단 325KB 뿐이므로, 휴대형 또는 임베디드 기기에서의 배포에 매우 적합하다.
• 교차 데이터셋 평가 결과, 학습 데이터셋과 다른 데이터에서 테스트할 경우 성능 저하가 심각하게 발생함을 확인하였으며, 이는 도메인 적응의 필요성을 강조한다.
• 자기 레이블링 전략은 교차 데이터셋 일반화에 중간 정도의 향상을 가져왔으며, 이는 도메인 적응 기법을 통해 추가 향상이 가능함을 시사한다.