[논문 리뷰] M2U-Net: Effective and Efficient Retinal Vessel Segmentation for Resource-Constrained Environments

Tim Laibacher, Tillman Weyde외 1명|arXiv (Cornell University)|2018. 11. 19.

Retinal Imaging and Analysis참고 문헌 38인용 수 28

한 줄 요약

M2U-Net는 인코더에 사전 훈련된 MobileNetV2 특징을, 디코더에 새로운 수축성 버팀목 블록을 결합한 경량이며 효율적인 신경망으로, CHASE_DB1 및 HRF에서 최신 기술 수준의 성능을 달성하면서 파rameter 수를 0.55M로 줄이고 고해상도 이미지에서 실시간 추론(GPU 기준 19.9ms, ARM 기준 14.7s)을 가능하게 한다.

ABSTRACT

In this paper, we present a novel neural network architecture for retinal vessel segmentation that improves over the state of the art on two benchmark datasets, is the first to run in real time on high resolution images, and its small memory and processing requirements make it deployable in mobile and embedded systems. The M2U-Net has a new encoder-decoder architecture that is inspired by the U-Net. It adds pretrained components of MobileNetV2 in the encoder part and novel contractive bottleneck blocks in the decoder part that, combined with bilinear upsampling, drastically reduce the parameter count to 0.55M compared to 31.03M in the original U-Net. We have evaluated its performance against a wide body of previously published results on three public datasets. On two of them, the M2U-Net achieves new state-of-the-art performance by a considerable margin. When implemented on a GPU, our method is the first to achieve real-time inference speeds on high-resolution fundus images. We also implemented our proposed network on an ARM-based embedded system where it segments images in between 0.6 and 15 sec, depending on the resolution. Thus, the M2U-Net enables a number of applications of retinal vessel structure extraction, such as early diagnosis of eye diseases, retinal biometric authentication systems, and robot assisted microsurgery.

연구 동기 및 목표

• 모바일 및 임베디드 시스템에 적합한 경량이며 고성능의 신경망을 개발하여 망막 혈관 분할을 수행하는 것.
• 높은 계산 자원을 요구하고 실시간 또는 개인정보 감시가 필요한 응용 분야에 부적합한 기존 모델의 한계를 해결하는 것.
• 기본 데이터셋에서 최신 기술 수준의 분할 정확도를 달성하면서 모델 크기와 추론 시간을 극적으로 감소시키는 것.
• 모델을 현장에 직접 탑재하여 초기 질병 진단, 망막 생체 인식, 로봇 마이크로수술 등의 실생활 응용을 가능하게 하는 것.

제안 방법

• M2U-Net는 U-Net 기반의 인코더-디코더 아키텍처를 사용하며, 효율적인 특징 추출을 위해 인코더에 사전 훈련된 MobileNetV2 블록을 활용한다.
• 디코더에 새로운 수축성 버팀목 블록을 도입하여 파arameter 수를 줄이면서도 높은 특징 표현 품질을 유지한다.
• 이중선형 보간과 스킵 연결을 조합하여 공간 해상도를 유지하고 분할 정확도를 향상시킨다.
• 깊이 분리 합성곱과 스트라이드 버팀목 블록을 사용하여 파arameter 수와 계산 부담을 최소화한다.
• 저메모리 및 저처리 요구 사양을 고려하여 ARM 기반 임베디드 시스템에의 배포를 최적화한다.
• 종합 손실 함수를 사용하여 엔드 투 엔드로 훈련하고, 모델 정량화 및 하드웨어 인지 최적화를 통해 추론 속도를 가속화한다.

실험 결과

연구 질문

• RQ1 경량 신경망이 모바일 및 임베디드 장치에 배포 가능한 동시에 망막 혈관 분할에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 사전 훈련된 MobileNetV2 구성 요소의 통합이 파arameter 수 증가를 최소화하면서도 망막 혈관 분할에서 특징 학습을 어떻게 향상시키는가?
• RQ3 고해상도 망막 이미지에서 모델 효율성(파arameter 수, 추론 시간)과 분할 정확도 사이의 상충 관계는 어떻게 되는가?
• RQ4 제안된 아키텍처가 정확도를 희생시키지 않고도 고해상도 망막 이미지(예: 2336×3504)에서 실시간 추론을 달성할 수 있는가?
• RQ5 서버급 GPU 구현 대비 에너지 효율성 및 전력 소모 측면에서 모델 성능은 어떠한가?

주요 결과

• CHASE_DB1에서 M2U-Net는 새로운 최신 기술 수준의 Dice 스코어 0.8006을 달성하여 이전 방법들보다 유의미한 성능 향상을 보였다.
• HRF에서 M2U-Net는 Dice 스코어 0.7814를 기록했으며, GPU에서 19.9ms로 실시간 추론을 달성한 최초의 방법이었다.
• Rockchip RK3399 SoC에서 M2U-Net는 고해상도 이미지를 14.7초 내로 분할하여 임베디드 배포의 가능성을 입증했다.
• 모델의 파arameter 수를 0.55M로 줄여 원래 U-Net(31.03M) 대비 14배 감소시켜 저전력 장치에의 배포를 가능하게 했다.
• ARM 플랫폼에서의 전력 소모는 9.6W로 서버급 GPU(200W 이상)보다 현저히 낮아 프라이버시 및 에너지 효율성을 향상시켰다.
• 절단 실험 결과, t < 1인 수축성 버팀목 블록이 성능 저하 없이 파arameter 수를 감소시킴으로써 아키텍처의 효율성을 검증했다.