[논문 리뷰] Pathological Retinal Region Segmentation From OCT Images Using Geometric Relation Based Augmentation

Dwarikanath Mahapatra, Behzad Bozorgtabar외 2명|arXiv (Cornell University)|2020. 03. 31.

Retinal Imaging and Analysis참고 문헌 125인용 수 13

한 줄 요약

이 논문은 망막 OCT 영상에 대한 GAN 기반 데이터 증강 방법인 GeoGAN을 제안하며, 해부학적 구조 간의 기하관계를 명시적으로 모델링하고 잠재공간 샘플링을 통해 다양성을 도입한다. 특히 체액이 축적된 영역을 현실적으로 생성함으로써 RETOUCH 데이터셋에서 분할 성능을 크게 향상시켜, 최신 기술 대비 최대 10.4% 높은 Dice 점수와 5.4 mm 높은 HD를 달성한다.

ABSTRACT

Medical image segmentation is an important task for computer aided diagnosis. Pixelwise manual annotations of large datasets require high expertise and is time consuming. Conventional data augmentations have limited benefit by not fully representing the underlying distribution of the training set, thus affecting model robustness when tested on images captured from different sources. Prior work leverages synthetic images for data augmentation ignoring the interleaved geometric relationship between different anatomical labels. We propose improvements over previous GAN-based medical image synthesis methods by jointly encoding the intrinsic relationship of geometry and shape. Latent space variable sampling results in diverse generated images from a base image and improves robustness. Given those augmented images generated by our method, we train the segmentation network to enhance the segmentation performance of retinal optical coherence tomography (OCT) images. The proposed method outperforms state-of-the-art segmentation methods on the public RETOUCH dataset having images captured from different acquisition procedures. Ablation studies and visual analysis also demonstrate benefits of integrating geometry and diversity.

연구 동기 및 목표

• 의료 영상에서 전통적인 데이터 증강 기법의 다양성 부족과 분포의 정확성 문제를 해결한다.
• 기존 GAN 기반 방법이 망막 OCT 영상에서 해부학적 레이블 간 기하관계를 모델링하지 못하는 데서 기인하는 실패를 해결한다.
• 다양하고 현실적인 합성 영상을 생성함으로써 병변 영역(예: DME 및 AMD에서의 체액 축적)의 분할 정확도를 향상시킨다.
• 형태, 분류, 샘플링의 통합 모델링이 분할 성능 향상과 임상적 유의성 향상에 기여함을 입증한다.
• 정상 및 병변 영상 모두에 대해 고해상도의 질병 특이적 합성 데이터를 생성함으로써, 제한된 레이블이 부여된 데이터셋에서 효과적인 학습을 가능하게 한다.

제안 방법

• 이미지 생성 중에 분할 레이블(예: 망막 층 및 체액 영역) 간 기하관계를 함께 인코딩하는 조건부 GAN인 GeoGAN을 제안한다.
• 생성된 영상에서 해부학적 구조와 레이블 간 공간적 관계를 유지하기 위해 형상 일관성 손실을 도입한다.
• 생성된 영상가 정확한 질병 유형(정상 대비 병변)에 해당함을 보장하기 위해 분류 손실을 적용한다.
• 잠재공간에서의 확률적 샘플링을 통해 하나의 기반 영상에서 다양한 변형을 생성함으로써 데이터 다양성을 향상시킨다.
• 실제 영상과 GeoGAN으로 생성된 영상을 조합한 데이터셋으로 U-Net 기반 분할 네트워크를 학습시켜 일반화 능력을 향상시킨다.
• 각 구성 요소(형상 손실, 분류 손실, 샘플링 전략)의 기여도를 검증하기 위해 추상화 실험을 수행한다.

실험 결과

연구 질문

• RQ1 해부학적 레이블 간 기하관계를 모델링하면 합성 OCT 영상의 현실성과 다양성이 향상되는가?
• RQ2 GAN 기반 데이터 증강에 형상과 분류 지도를 함께 통합하면 병변 영역의 분할 성능이 향상되는가?
• RQ3 잠재공간 샘플링을 통한 다양성이 다양한 촬영 프로토콜 간 모델 일반화에 어떤 영향을 미치는가?
• RQ4 실제 정상 영상에서만 학습된 모델이 병변 케이스 테스트에서, 병변 영상 전용으로 학습된 모델보다 성능이 열 劣하는가?
• RQ5 정상 및 병변 데이터를 함께 학습에 활용할 경우, 단일 유형 데이터만 사용할 때보다 분할 정확도 향상 정도는 어느 정도인가?

주요 결과

• GeoGAN은 RETOUCH 데이터셋에서 최신 기술 대비 뛰어난 성능을 보이며, 정상 및 병변 케이스를 혼합한 데이터셋으로 학습했을 때 Dice 점수 0.873, HD 9.2 mm를 기록한다.
• 정상 영상만으로 학습했을 때도 GeoGAN은 병변 테스트 이미지에서 Dice 점수 0.856, HD 9.9 mm를 달성하여 DAGAN(0.781 Dice, 14.5 mm HD)과 cGAN(0.802 Dice, 13.7 mm HD)을 크게 앞서며 성능을 뛰어나게 한다.
• 추상화 실험을 통해 형상 손실, 분류 손실, 확률적 샘플링 모두가 필수적임을 확인하였으며, 전체 GeoGAN 모델이 가장 뛰어난 성능을 보였다.
• 정상 영상로만 학습하고 병변 영상으로 테스트할 경우 성능이 크게 떨어지며, 질병 특이적 데이터 증강의 중요성을 강조한다.
• 시각적 분석 결과 GeoGAN으로 생성된 영상가 현실적인 체액 형태와 해부학적 구조를 유지하고 있으며, 망막 전문의들과의 일치도가 높았다.
• 이 방법은 다양한 촬영 프로토콜 간에 잘 일반화되며, 합성 데이터 생성을 통한 임상 교육 및 모델 검증 분야에 잠재적 응용 가능성을 보였다.