[논문 리뷰] Multimodal Transfer Learning-based Approaches for Retinal Vascular Segmentation

José Morano, Álvaro S. Hervella외 3명|arXiv (Cornell University)|2020. 12. 18.

Retinal Imaging and Analysis참고 문헌 40인용 수 5

한 줄 요약

이 논문은 레티나 혈관 분할을 위한 다중모달 전이 학습 프레임워크를 제안한다. 비라벨링된 레티노그래피-angiography 쌍을 대상으로 자기지도 학습 전훈을 수행함으로써, 제한된 라벨링 데이터에서의 피니튜닝을 최소화하면서도 분할 성능을 크게 향상시킨다. 이는 완전히 새로 학습한 모델보다 성능이 뛰어나며, 다양한 아키텍처에서 강건성을 보이며, 특히 U-Net이 정확도와 일반화 능력의 최적의 균형을 이룬다.

ABSTRACT

In ophthalmology, the study of the retinal microcirculation is a key issue in the analysis of many ocular and systemic diseases, like hypertension or diabetes. This motivates the research on improving the retinal vasculature segmentation. Nowadays, Fully Convolutional Neural Networks (FCNs) usually represent the most successful approach to image segmentation. However, the success of these models is conditioned by an adequate selection and adaptation of the architectures and techniques used, as well as the availability of a large amount of annotated data. These two issues become specially relevant when applying FCNs to medical image segmentation as, first, the existent models are usually adjusted from broad domain applications over photographic images, and second, the amount of annotated data is usually scarcer. In this work, we present multimodal transfer learning-based approaches for retinal vascular segmentation, performing a comparative study of recent FCN architectures. In particular, to overcome the annotated data scarcity, we propose the novel application of self-supervised network pretraining that takes advantage of existent unlabelled multimodal data. The results demonstrate that the self-supervised pretrained networks obtain significantly better vascular masks with less training in the target task, independently of the network architecture, and that some FCN architecture advances motivated for broad domain applications do not translate into significant improvements over the vasculature segmentation task.

연구 동기 및 목표

• 의료 영상 분할 분야에서 라벨링된 레티나 영상의 부족 문제를 해결한다.
• 비라벨링된 다중모달 데이터를 활용하여 레티나 혈관 분할의 데이터 부족 문제를 완화한다.
• FCN 기반 분할에 대한 전이 학습에서, 레티노그래피-angiography 쌍을 대상으로 한 자기지도 학습 전훈의 효과를 평가한다.
• 자기지도 학습 전훈을 통해 사전 훈련된 다양한 FCN 아키텍처(U-Net, FC-DenseNet, ENet)의 성능을 비교한다.
• 낮은 데이터 환경에서 성능, 일반화 능력, 계산 비용 간의 최적 균형을 이룬 네트워크 아키텍처를 규명한다.

제안 방법

• 비라벨링된 레티노그래피 및 혈관조직영상 쌍을 대상으로 자기지도 학습 전훈을 통해 완전 컨volution 네트워크(FCNs)를 사전 훈련한다.
• 사전 훈련된 인코더를 제한된 라벨링 데이터 기반의 레티나 혈관 분할 작업에 특징 추출기로 활용한다.
• 표준 분할 손실 함수를 사용하여 목표 데이터셋(DRIVE 및 STARE)에서 사전 훈련된 모델을 엔드 투 엔드로 피니튜닝한다.
• 훈련 다양성을 높이고 일반화 능력을 향상시키기 위해 데이터 증강 기법을 적용한다.
• 동일한 사전 훈련 및 피니튜닝 프로토콜을 기반으로 U-Net, FC-DenseNet, ENet 등의 다양한 FCN 아키텍처 간 성능을 비교한다.
• 테스트 세트에서 분할 성능 평가를 위해 Dice 계수, 민감도, 특이도 등의 지표를 사용한다.

실험 결과

연구 질문

• RQ1 비라벨링된 다중모달 레티나 영상(레티노그래피 및 혈관조직영상)을 대상으로 한 자기지도 학습 전훈이 후속 혈관 분할 성능을 향상시킬 수 있는가?
• RQ2 사전 훈련된 모델과 완전히 새로 학습한 모델 간의 분할 정확도 및 수렴 속도에서 다중모달 데이터 기반 사전 훈련 전략의 성능은 어떻게 비교되는가?
• RQ3 제한된 라벨링 데이터로 피니튜닝할 경우, U-Net, FC-DenseNet, ENet 중 어느 FCN 아키텍처가 가장 뛰어난 성능과 일반화 능력을 보이는가?
• RQ4 다중모달 사전 훈련을 통해 레티나 혈관 분할에서 대규모 라벨링 데이터셋에 대한 의존도가 감소하는가?
• RQ5 일반 목적 컴퓨터 비전에서의 아키텍처 발전이 레티나 혈관 분할 분야로 얼마나 효과적으로 전이되는가?

주요 결과

• 비라벨링된 레티노그래피-angiography 쌍을 대상으로 한 자기지도 학습 전훈은, 최소한의 피니튜닝으로도 완전히 새로 학습한 모델보다 혈관 분할 성능을 크게 향상시킨다.
• 사전 훈련 전략은 높은 성능에 도달하기 위한 훈련 에포크 수를 줄이며, 더 빠른 수렴을 보여준다.
• U-Net은 DRIVE 및 STARE 데이터셋에서 모두 최고의 분할 성능을 기록하였으며, 병변 징후가 있는 영상에서 특히 뛰어난 일반화 능력을 보였다.
• FC-DenseNet은 파rameter 수가 적음에도 불구하고 아키텍처의 잠재적 능력을 충분히 활용하지 못했으며, 특히 더 도전적인 STARE 데이터셋에서 U-Net에 비해 성능이 열 劣하였다.
• ENet는 U-Net 및 FC-DenseNet만큼 정확도는 떨어지지만, 사전 훈련 후에도 만족스러운 성능을 기록하여 계산 자원이 제한된 환경에서 실용적인 선택이 될 수 있다.
• 다중모달 사전 훈련 전략은 작은 훈련 데이터셋 크기에도 불구하고 높은 성능을 유지하며 강건성을 입증하였다.