[논문 리뷰] Boundary and Entropy-driven Adversarial Learning for Fundus Image Segmentation

Shujun Wang, Lequan Yu외 4명|arXiv (Cornell University)|2019. 06. 26.

Retinal Imaging and Analysis참고 문헌 16인용 수 17

한 줄 요약

이 논문은 망막 영상에서 시신경두 및 시신경구 분할을 위한 새로운 비지도 도메인 적응 프레임워크인 경계 및 엔트로피 기반 적대적 학습(BEAL)을 제안한다. 적대적 학습을 통해 도메인 불변 경계와 낮은 엔트로피(확실한) 예측을 동시에 강제화함으로써 BEAL은 특히 모호한 경계에서의 분할 정확도를 향상시키며, RIM-ONE-r3 및 Drishti-GS 데이터셋에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Accurate segmentation of the optic disc (OD) and cup (OC)in fundus images from different datasets is critical for glaucoma disease screening. The cross-domain discrepancy (domain shift) hinders the generalization of deep neural networks to work on different domain datasets.In this work, we present an unsupervised domain adaptation framework,called Boundary and Entropy-driven Adversarial Learning (BEAL), to improve the OD and OC segmentation performance, especially on the ambiguous boundary regions. In particular, our proposed BEAL frame-work utilizes the adversarial learning to encourage the boundary prediction and mask probability entropy map (uncertainty map) of the target domain to be similar to the source ones, generating more accurate boundaries and suppressing the high uncertainty predictions of OD and OC segmentation. We evaluate the proposed BEAL framework on two public retinal fundus image datasets (Drishti-GS and RIM-ONE-r3), and the experiment results demonstrate that our method outperforms the state-of-the-art unsupervised domain adaptation methods. Codes will be available at https://github.com/EmmaW8/BEAL.

연구 동기 및 목표

• 외관 및 대비의 차이로 인해 한 데이터셋에서 학습된 모델이 다른 데이터셋으로 일반화되지 못하는 망막 영상 분할에서의 도메인 이동 문제를 해결한다.
• 기존 방법이 불확실하거나 정확하지 못한 예측을 내는, 목표 도메인 망막 영상에서 흔한 모호한 경계 영역의 분할 성능을 향상시킨다.
• 원천 도메인과 목표 도메인 간에 경계 구조 일致성과 예측 확실성(낮은 엔트로피)을 향상시키는 도메인 적응 프레임워크를 개발한다.
• 이전 비지도 도메인 적응 방법이 고불확실성 예측을 억제하거나 연약한 조직 영역에서 신뢰할 수 있는 경계를 생성하지 못하는 한계를 극복한다.
• 목표 도메인의 레이블 없이도 강력하고 일반화 가능한 시신경두 및 시신경구 분할을 가능하게 하여 실용적인 녹내람 스크리닝 응용을 지원한다.

제안 방법

• 경계 예측을 위한 이중 브랜치를 갖춘 DeepLabv3+ 백본과 Atrous Spatial Pyramid Pooling(ASPP)을 채택한다.
• 샤논 엔트로피를 사용하여 예측 엔트로피 지ap을 계산하여 분할 출력의 불확실성을 정량화하며, 높은 엔트로피는 모호하거나 신뢰할 수 없는 예측을 나타낸다.
• 두 개의 디스커미네이터를 도입한다: 하나는 원천 도메인과 목표 도메인 간의 구조 유사성을 강제하기 위해 경계 지도에서의 적대적 학습을 위한 것이고, 다른 하나는 목표 도메인에서 낮은 엔트로피(확실한) 예측을 촉진하기 위한 것이다.
• 경계 구조와 엔트로피 분포를 원천 도메인과 목표 도메인 간에 정렬하기 위해 적대적 학습을 적용함으로써 도메인 이동 영향을 최소화한다.
• 표준 분할 손실(예: DICE 손실)과 함께 경계 및 엔트로피 지도에서의 적대적 손실을 사용하여 엔드 투 엔드로 모델을 훈련시켜 정확도와 불확실성 억제를 동시에 최적화한다.
• 회전, 반전, 탄성 왜곡, 노이즈, 무작위 제거 등의 데이터 증강 기법을 적용하여 훈련 중 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 목표 도메인 망막 영상에서 모호한 경계의 분할 정확도 향상에 있어 경계 구조에서의 적대적 학습이 효과적인가?
• RQ2 목표 도메인에서 낮은 엔트로피(확실한) 예측을 강제하면 불확실성이 감소하고 분할 신뢰성이 향상되는가?
• RQ3 경계 일관성과 엔트로피 억제를 동시에 최적화하면 별도로 최적화하는 것보다 더 나은 성능을 내는가?
• RQ4 RIM-ONE-r3 및 Drishti-GS와 같은 다양한 망막 영상 데이터셋 간의 큰 도메인 이동을 다루는 데에 제안된 방법은 얼마나 효과적인가?
• RQ5 경계 및 엔트로피 구성 요소가 전체 성능 향상에 각각 기여하는 정도는 어느 정도인가?

주요 결과

• BEAL은 최신 기술(pOSAL) 대비 RIM-ONE-r3 데이터셋에서 시신경구 분할의 DICE 계수(DI)를 2.3% 향상시키며, 시신경두 분할의 DI는 3.3% 향상시켰다.
• Drishti-GS 데이터셋에서 BEAL은 시신경구 DI가 0.862, 시신경두 DI가 0.961을 기록하여, 시신경구 분할에선 pOSAL을 능가하고, 시신경두 분할에선 pOSAL과 동일한 성능을 달성했다.
• 제거 실험 결과, 경계 기반 적대적 학습(BAL)과 엔트로피 기반 적대적 학습(EAL) 모두 긍정적인 기여를 확인하였으며, 전체 BEAL 모델이 추가적인 향상을 보였다.
• 경계 브랜치만 포함시켜도 RIM-ONE-r3에서 시신경구 DI는 0.035 향상되고, 시신경두 DI는 0.106 향상되어 명시적 경계 감독의 가치를 입증했다.
• 정성적 결과에서는 BEAL이 특히 모호한 영역에서 더 선명한 경계와 더 깔끔한 엔트로피 지도를 생성하며 노이즈를 감소시켰다.
• 기준 모델 및 pOSAL 대비 BEAL은 목표 도메인 영상에서 고엔트로피(불확실한) 예측을 효과적으로 억제함을 입증하였으며, 더 명확한 엔트로피 지도를 제공했다.