[논문 리뷰] Imperfect Segmentation Labels: How Much Do They Matter?

Nicholas Heller, Joshua Dean외 1명|arXiv (Cornell University)|2018. 06. 12.

Advanced Neural Network Applications참고 문헌 16인용 수 5

한 줄 요약

이 연구는 의료 영상 분할에서 불완전한 세그멘테이션 레이블—특히 경계에 국한된 오류—가 딥러닝 모델에 미치는 영향을 조사한다. Liver Segmentation Dataset을 사용하여 U-Net, SegNet, FCN32를 평가한 결과, 경계 노이즈가 증가할수록 성능 저하가 점진적으로 발생하지만, U-Net은 다른 모델에 비해 불규칙한 경계 변형에 훨씬 더 강건한 것으로 나타났으며, 모든 모델은 무작위 레이블 오류에 매우 강건한 것으로 밝혀졌다.

ABSTRACT

Labeled datasets for semantic segmentation are imperfect, especially in medical imaging where borders are often subtle or ill-defined. Little work has been done to analyze the effect that label errors have on the performance of segmentation methodologies. Here we present a large-scale study of model performance in the presence of varying types and degrees of error in training data. We trained U-Net, SegNet, and FCN32 several times for liver segmentation with 10 different modes of ground-truth perturbation. Our results show that for each architecture, performance steadily declines with boundary-localized errors, however, U-Net was significantly more robust to jagged boundary errors than the other architectures. We also found that each architecture was very robust to non-boundary-localized errors, suggesting that boundary-localized errors are fundamentally different and more challenging problem than random label errors in a classification setting.

연구 동기 및 목표

• 의료 영상에서 딥러닝 기반 세분화 모델에 대한 불완전한 진짜 레이블의 영향을 평가하는 것.
• 경계에 국한된 오류(예: 불규칙한 윤곽선)와 비경계에 국한된 오류(예: 무작위 픽셀 이동)의 영향을 구분하는 것.
• U-Net, SegNet, FCN32와 같은 다양한 아키텍처가 제어된 레이블 편향 조건에서 어떻게 강건한지 평가하는 것.
• 세그멘테이션 작업에서 경계 오류가 무작위 레이블 노이즈보다 본질적으로 더 해로운가를 조사하는 것.
• 의료 영상 분석을 위한 데이터셋 셀렉션에서 레이블 품질의 트레이드오프가 미치는 영향을 탐색하는 것.

제안 방법

• Liver Segmentation Dataset의 진짜 마스크를 자연스러운, 잘게 쪼개진(불규칙한 경계), 무작위(비정형 픽셀 이동) 모드로 펌웨어 처리하여 오차를 도입했다.
• 각 변형된 학습 데이터에 대해 U-Net, SegNet, FCN32 모델을 훈련시켰으며, 검증 및 테스트 세트는 그대로 유지했다.
• 통계적 신뢰성을 확보하기 위해 각 모델-편향 조합에 대해 다섯 번의 독립적인 훈련을 수행하여 총 150회의 훈련 세션을 완료했다.
• 세그멘테이션 정확도의 표준 지표인 Dice-Sorensen 계수를 사용하여 모델 성능을 평가했다.
• 편향 정도를 다양하게 조절(0.85, 0.90, 0.95)하여 성능 저하 패턴을 정량화하기 위해 성능 추세를 분석했다.
• 3D CT 자료를 활용하여 해부학적 평면 간의 레이블 불일치를 검증하고, 현실적인 편향 모드 설계에 기여했다.

실험 결과

연구 질문

• RQ1 경계에 국한된 레이블 오류가 딥러닝 기반 세그멘테이션 모델의 성능에 어떤 영향을 미치는가?
• RQ2 U-Net, SegNet, FCN32와 같은 다양한 세그멘테이션 아키텍처는 경계 노이즈에 대해 어떻게 강건한가?
• RQ3 무작위 픽셀 편향과 같은 비경계에 국한된 오류는 모델에 얼마나 큰 영향을 미치는가?
• RQ4 레이블 오류 정도와 그로 인한 성능 저하 사이에 체계적인 관계가 존재하는가?
• RQ5 U-Net의 스킵 커넥션 같은 아키텍처 구성 요소가 불규칙한 경계 레이블의 영향을 완화할 수 있는가?

주요 결과

• 모든 모델의 성능은 경계에 국한된 편향이 증가할수록 점진적으로 저하되었으며, 이는 경계 오류가 성능 저하의 주요 원인임을 시사한다.
• U-Net은 SegNet과 FCN32에 비해 큰 불규칙한 경계 편향에 훨씬 더 강건한 것으로 나타났으며, 0.95 편향 수준에서도 높은 Dice 점수를 유지했다.
• 모든 모델은 무작위 레이블 편향에 매우 강건했으며, 일부 모델은 원본 학습 데이터 성능을 초월하는 결과를 보였다(예: U-Net은 0.90 무작위 노이즈에서 0.9213, 제어군은 0.9134).
• 경계 노이즈 하에서의 성능 저하는 모든 모델에 대해 균일하게 나타나, 오류 발생 빈도와 모델 성능 간의 일반화 가능한 관계가 있음을 시사한다.
• U-Net의 스킵 커넥션은 불규칙한 윤곽선에도 경계 정보를 유지함으로써, 이로 인해 불규칙한 편향에 대해 더 뛰어난 강건성을 확보한 것으로 보인다.
• 무작위 편향 하에서 모델의 성능 저하가 최소한이었으며, 이는 이러한 오류가 비경계 특성 오류에 비해 학습 과정을 크게 오도하지 않는다는 것을 의미한다.