[논문 리뷰] Dual-Branch Network with Dual-Sampling Modulated Dice Loss for Hard Exudate Segmentation from Colour Fundus Images

Qing Liu, Haotian Liu외 1명|arXiv (Cornell University)|2020. 12. 03.

Retinal Imaging and Analysis참고 문헌 34인용 수 5

한 줄 요약

이 논문은 색채 안구도에서 경직된 혈청침착물 분할 문제를 해결하기 위해 기존의 이중 분기 U-Net 유사 네트워크와 새로운 이중 샘플링 조절 딱딱 손실(Dice loss)을 제안한다. 이 방법은 균일 샘플링을 통해 큰 혈청침착물을 우선적으로 학습하는 한편, 재균형 샘플링을 통해 작은 혈청침착물을 강조하는 두 가지 분기로 구성되며, 적응형 손실 조절을 통해 쉬운 것에서 어려운 것으로의 학습 전략을 가능하게 한다. 이는 DDR 및 IDRiD 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Automated segmentation of hard exudates in colour fundus images is a challenge task due to issues of extreme class imbalance and enormous size variation. This paper aims to tackle these issues and proposes a dual-branch network with dual-sampling modulated Dice loss. It consists of two branches: large hard exudate biased learning branch and small hard exudate biased learning branch. Both of them are responsible for their own duty separately. Furthermore, we propose a dual-sampling modulated Dice loss for the training such that our proposed dual-branch network is able to segment hard exudates in different sizes. In detail, for the first branch, we use a uniform sampler to sample pixels from predicted segmentation mask for Dice loss calculation, which leads to this branch naturally be biased in favour of large hard exudates as Dice loss generates larger cost on misidentification of large hard exudates than small hard exudates. For the second branch, we use a re-balanced sampler to oversample hard exudate pixels and undersample background pixels for loss calculation. In this way, cost on misidentification of small hard exudates is enlarged, which enforces the parameters in the second branch fit small hard exudates well. Considering that large hard exudates are much easier to be correctly identified than small hard exudates, we propose an easy-to-difficult learning strategy by adaptively modulating the losses of two branches. We evaluate our proposed method on two public datasets and results demonstrate that ours achieves state-of-the-art performances.

연구 동기 및 목표

• 배경 픽셀 수가 혈청침착물 픽셀 수보다 훨씬 많아지는 극심한 클래스 불균형 문제를 해결한다 (비율 최대 512:1).
• 이미지의 90% 이상의 혈청침착물 픽셀이 9.7×10⁻⁵ 이하의 영역에 속할 정도로 크기가 극도로 다양한 혈청침착물의 분할 곤란 문제를 해결한다.
• 부분적 가중치 공유를 갖는 이중 분기 아키텍처를 통해 큰 혈청침착물과 작은 혈청침착물을 별도로 학습함으로써 분할 성능을 향상시킨다.
• 큰 혈청침착물이 잘 학습된 후에 작은 혈청침착물을 우선적으로 학습할 수 있도록 적응형 손실 조절을 통해 쉬운 것에서 어려운 것으로의 학습 전략을 가능하게 하는 손실 함수를 개발한다.
• 표준 교차 엔트로피 또는 딱딱 손실로 학습된 모델들을 능가하는 성능을 공개 데이터셋 DDR 및 IDRiD에서 달성한다.

제안 방법

• 균일 샘플링을 사용해 딱딱 손실을 학습하는 한 분기(큰 혈청침착물에 초점)와 재균형 샘플링(혈청침착물 과도 샘플링, 배경 저도 샘플링)을 사용해 작은 혈청침착물을 강조하는 다른 분기(작은 혈청침착물에 초점)를 갖는 이중 분기 네트워크를 제안한다.
• 균일 샘플링에서 유도된 손실 성분(큰 혈청침착물 중심)과 재균형 샘플링에서 유도된 손실 성분(작은 혈청침착물 중심)을 조합한 이중 샘플링 조절 딱딱 손실(DSM loss)을 설계한다.
• 학습이 진행됨에 따라 작은 혈청침착물 분기의 손실 가중치를 점차 증가시켜 적응형 손실 조절을 적용함으로써 쉬운 것에서 어려운 것으로의 학습 전략을 실현한다.
• 낮은 수준의 특징은 공유하면서도 고수준 특징에서는 작업에 특화된 적응을 허용하기 위해 두 분기 간 부분적 가중치 공유를 사용한다.
• DSM 손실을 사용해 DDR 및 IDRiD 데이터셋에서 네트워크를 학습하고, IoU, F1-score, AUPR와 같은 표준 지표를 사용해 평가한다.
• 일반화 성능를 검증하기 위해 PSPNet, Deeplabv3, HED 등의 백본 아키텍처와 이중 분기 네트워크를 통합한다.

실험 결과

연구 질문

• RQ1 극도로 크기가 다양한 혈청침착물을 분할하는 데 있어, 별도의 샘플링 전략을 갖는 이중 분기 네트워크가 성능 향상에 기여하는가?
• RQ2 심각한 클래스 불균형 조건에서 이중 샘플링 조절 딱딱 손실이 큰 혈청침착물과 작은 혈청침착물 간의 학습 균형을 효과적으로 조절하는가?
• RQ3 쉬운 것에서 어려운 것으로의 학습 전략을 구현하는 적응형 손실 조절이 작은, 감지하기 어려운 혈청침착물의 성능 향상에 기여하는가?
• RQ4 분할 정확도와 강인성 측면에서 표준 손실 함수(CBCE, 딱딱 손실 등)와 비교했을 때 제안된 방법은 어떻게 성능을 냅니다?
• RQ5 이중 분기 아키텍처는 공개 안구도 데이터셋에서 다양한 분할 백본(PSPNet, Deeplabv3, HED 등)에 대해 일반화 가능한가?

주요 결과

• DDR 데이터셋에서 제안된 이중 분기 네트워크와 DSM 손실은 IoU 0.8640, F1-score 0.7790, σ=0.5일 때 F1-score 0.6954를 기록했으며, SPNet 및 DNL과 같은 기준 모델들(CBCE 또는 딱딱 손실로 학습)을 모두 능가했다.
• IDRiD 데이터셋에서 이 방법은 IoU 0.6239, F1-score 0.7684, σ=0.8일 때 F1-score 0.8353을 기록했으며, L-seg, LWENet, Bin loss 모두를 모든 지표에서 능가했다.
• CBCE 기반 모델들에 비해 이중 분기 네트워크와 DSM 손실을 사용한 방법은 배경를 혈청침착물로 잘못 분류하는 오류(거짓 양성)를 줄였다. 이는 경직된 혈청침착물에 대한 편향을 보였던 기존 모델들과 대비된다.
• 딱딱 손실 기반 모델들에 비해 작은 혈청침착물에 대해 오류(거짓 음성)를 줄였으며, 이는 배경에 편향된 기존 모델들과의 대비에서 뚜렷하다.
• 시각적 비교 결과, 제안된 방법은 작은 혈청침착물 영역을 더 잘 유지하고 배경 영역의 과다 분할을 방지하는 것으로 나타났다. 이는 표준 손실로 학습된 모델들과는 대조된다.
• 적응형 손실 조절을 갖는 이중 분기 아키텍처는 IDRiD에서 최고의 AUPR(0.8296)를 기록하여 희귀하고 작은 혈청침착물을 탐지하는 데서 뛰어난 성능을 보였다.