[논문 리뷰] Retinal Vessel Segmentation under Extreme Low Annotation: A Generative Adversarial Network Approach

Avisek Lahiri, Vineet Jain외 2명|arXiv (Cornell University)|2018. 09. 05.

Retinal Imaging and Analysis참고 문헌 7인용 수 11

한 줄 요약

이 논문은 표준 레이블 예산의 0.8–1.6%에 해당하는 제한된 레이블 데이터와 풍부한 비라벨 데이터를 활용하여 망막 혈관 분할을 위한 새로운 생성적 적대적 네트워크(GAN)-기반 준지도 학습 프레임워크를 제안한다. 구조적 예측 기반 아키텍처와 비지도 적대적 손실을 도입함으로써, DRIVE 및 STARE 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 라벨이 500개뿐인 경우조차도 완전히 지도 학습된 U-Net 모델보다 뛰어난 성능을 보였다.

ABSTRACT

Contemporary deep learning based medical image segmentation algorithms require hours of annotation labor by domain experts. These data hungry deep models perform sub-optimally in the presence of limited amount of labeled data. In this paper, we present a data efficient learning framework using the recent concept of Generative Adversarial Networks; this allows a deep neural network to perform significantly better than its fully supervised counterpart in low annotation regime. The proposed method is an extension of our previous work with the addition of a new unsupervised adversarial loss and a structured prediction based architecture. To the best of our knowledge, this work is the first demonstration of an adversarial framework based structured prediction model for medical image segmentation. Though generic, we apply our method for segmentation of blood vessels in retinal fundus images. We experiment with extreme low annotation budget (0.8 - 1.6% of contemporary annotation size). On DRIVE and STARE datasets, the proposed method outperforms our previous method and other fully supervised benchmark models by significant margins especially with very low number of annotated examples. In addition, our systematic ablation studies suggest some key recipes for successfully training GAN based semi-supervised algorithms with an encoder-decoder style network architecture.

연구 동기 및 목표

• 레이블 데이터가 극도로 제한된 상황에서 의료 영상 분할을 위한 딥 러닝 모델을 훈련하는 데 도전하는 것.
• 풍부한 비라벨 망막 후면도 영상 자료를 활용하여 저 supervision 환경에서의 분할 성능을 향상시키는 것.
• 이전의 GAN 기반 준지도 학습을 구조적 예측 프레임워크로 확장하여 분할에서의 공간적 종속성을 더 잘 모델링하는 것.
• 의료 영상 분야에서 준지도 학습 설정에서 GAN 기반 인코더-디코더 네트워크를 성공적으로 훈련시키기 위한 실용적 지침을 제공하는 것.

제안 방법

• 비라벨 이미지에 대해 현실적인 분할 맵을 생성할 수 있도록 허용하는 새로운 비지도 적대적 손실을 도입한다.
• 모든 픽셀에 대해 동시에 다중 레이블 출력을 예측하는 구조적 예측(SP) 설정을 채택하여 공간 일관성을 향상시킨다.
• 라벨이 있는 패치에 대한 지도 학습 손실과 실제 및 생성된 분할 맵에 대한 적대적 손실을 결합하여 디세이머와 생성자 간을 공동으로 훈련시킨다.
• 공간 해상도와 맥락을 유지하기 위해 스킵 연결을 갖춘 U-Net 스타일의 인코더-디코더 아키텍처를 사용한다.
• 라벨이 있는 데이터에서 생성된 실제 분할 맵과 비라벨 이미지에서 생성된 가짜 분할 맵을 구별하도록 디세이머를 훈련시킨다.
• 라벨 데이터에 대한 지도 학습 손실과 적대적 손실을 모두 최소화하도록 생성자를 최적화하여 두 유형의 데이터로부터 공동 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 표준 레이블 예산의 0.8–1.6%만을 사용할 때, GAN 기반 준지도 학습 프레임워크가 망막 혈관 분할 성능을 크게 향상시킬 수 있는가?
• RQ2 이전의 '중앙 픽셀' 예측 방식을 구조적 예측 설정으로 대체할 경우 분할 품질과 일반화 능력이 향상되는가?
• RQ3 낮은 레이블 예산 하에서, 레이블 이미지의 다양성(즉, 더 많은 이미지에서 샘플링하는 것 vs. 더 적은 수의 이미지에서 더 많은 패치를 추출하는 것)이 모델 성능에 어떤 영향을 미치는가?
• RQ4 인코더-디코더 아키텍처를 사용한 GAN 기반 준지도 학습 분할 모델을 성공적으로 훈련시키기 위해 필수적인 아키텍처 및 최적화 전략는 무엇인가?

주요 결과

• 제안된 방법은 500개의 레이블 패치만으로도 DRIVE 데이터셋에서 AUC 0.92, STARE 데이터셋에서 AUC 0.90를 달성하여, 완전히 지도 학습된 U-Net 및 이전 준지도 학습 모델보다 뛰어난 성능을 보였다.
• 1,000개의 레이블 패치를 사용할 경우, DRIVE 데이터셋에서 AUC 0.94, STARE 데이터셋에서 AUC 0.92를 기록하였으며, 동일한 낮은 레이블 예산 하에서 완전히 지도 학습된 U-Net(AUC 0.90 및 0.89)보다 성능이 뛰어났다.
• 더 많은 이미지에서 레이블을 샘플링한 모델(예: 15개 이미지)은 더 적은 이미지에서 레이블을 샘플링한 모델(예: 10개 이미지)보다 총 패치 수가 더 많더라도 일관되게 뛰어난 성능을 보였다.
• 제거 분석 결과, 비지도 적대적 손실과 구조적 예측 설정이 낮은 데이터 환경에서 성능 향상에 핵심적인 역할을 한다는 것이 확인되었다.
• 이 방법은 DRIVE 및 STARE 데이터셋에서 극도로 낮은 레이블 예산 하에서도 망막 혈관 분할 분야의 새로운 SOTA 기준을 설정하였다.
• 결과는 레이블의 양보다도 데이터 다양성—더 많은 이미지에서 샘플링하는 것이 더 중요하다는 것을 시사하며, 의료 영상 분야에서 더 효율적인 레이블링 전략이 될 수 있음을 보여준다.