[논문 리뷰] blob loss: instance imbalance aware loss functions for semantic segmentation

Florian Kofler, Suprosanna Shit외 1명|Zurich Open Repository and Archive (University of Zurich)|2022. 05. 17.

COVID-19 diagnosis using AI참고 문헌 29인용 수 8

한 줄 요약

이 논문은 정성적 분할을 위한 새로운 손실 함수 가족인 Blob Loss를 제안한다. 이는 전경 영역을 연결된 성분(블롭)으로 모델링하고 공간적 일관성 및 크기 분포 최적화를 통해 인스턴스 불균형 문제를 직접적으로 다룬다. 이 방법은 미분 가능한 블롭 분해와 크기 인지 가중치를 통한 인스턴스 인식 정규화를 통해 불균형 데이터셋에서의 분할 성능을 향상시키며, LiTS 간암 종양 및 ISIC 피부 병변 데이터셋을 포함한 여러 의료 영상 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Deep convolutional neural networks (CNN) have proven to be remarkably effective in semantic segmentation tasks. Most popular loss functions were introduced targeting improved volumetric scores, such as the Dice coefficient (DSC). By design, DSC can tackle class imbalance, however, it does not recognize instance imbalance within a class. As a result, a large foreground instance can dominate minor instances and still produce a satisfactory DSC. Nevertheless, detecting tiny instances is crucial for many applications, such as disease monitoring. For example, it is imperative to locate and surveil small-scale lesions in the follow-up of multiple sclerosis patients. We propose a novel family of loss functions, \emph{blob loss}, primarily aimed at maximizing instance-level detection metrics, such as F1 score and sensitivity. \emph{Blob loss} is designed for semantic segmentation problems where detecting multiple instances matters. We extensively evaluate a DSC-based \emph{blob loss} in five complex 3D semantic segmentation tasks featuring pronounced instance heterogeneity in terms of texture and morphology. Compared to soft Dice loss, we achieve 5% improvement for MS lesions, 3% improvement for liver tumor, and an average 2% improvement for microscopy segmentation tasks considering F1 score.

연구 동기 및 목표

• 작거나 희귀한 객체가 훈련에서 부족하게 나타나는 정성적 분할의 인스턴스 불균형 문제를 해결한다.
• 작은 종양이나 병변과 같은 매우 불균형한 전경 인스턴스를 가진 데이터셋에서의 분할 성능을 향상시킨다.
• 객체 인스턴스를 연결된 성분(블롭)으로 모델링하여 공간적 구조와 크기 분포를 더 잘 포착할 수 있는 미분 가능한 손실 함수를 개발한다.
• 크기 인지 정규화를 도입하여 손실 최적화 과정에서 큰 주도적 인스턴스에 대한 편향을 줄인다.
• 다양한 정도의 인스턴스 불균형을 보이는 다양한 의료 영상 작업에서 일관된 성능 향상을 입증한다.

제안 방법

• 예측 및 진짜 분할 마스크에서 연결된 성분(블롭)을 식별하는 미분 가능한 블롭 분해 모듈을 제안한다.
• 각 블롭에 대해 개별 인스턴스의 Dice 점수를 계산하고 크기 인지 가중치를 사용해 집계하는 새로운 손실 함수를 정의한다. 이는 작은 희귀 인스턴스를 우선시한다.
• 작은 블롭에 더 높은 손실 가중치를 할당하여 그들의 부족한 표현을 상쇄하기 위한 미분 가능한 크기 인지 가중치 기법을 도입한다.
• 전체 손실를 블롭 별 Dice 점수의 가중합으로 설정하며, 이 가중치는 블롭 크기와 반비례하고 학습 가능한 스케일링 인자로 조정된다.
• 아키텍처 변경 없이 표준 딥 러닝 프레임워크(예: U-Net, nnU-Net)에 블롭 인식 손실를 통합하여 즉시 사용 가능한 배포가 가능하다.
• 연결된 성분 레이블링 등의 미분 가능한 형태적 연산을 사용하여 블롭의 구조를 통해 역전파가 가능하게 하여 엔드 투 엔드 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 전경 인스턴스를 연결된 성분(블롭)으로 모델링하는 것이 불균형 데이터셋에서의 분할 성능 향상에 기여하는가?
• RQ2 손실 함수에 크기 인지 가중치를 통합함으로써 정성적 분할에서 큰 주도적 인스턴스에 대한 편향을 줄일 수 있는가?
• RQ3 의료 영상 분할 벤치마크에서 기존 표준 손실 함수(Dice, Cross-Entropy) 및 기존 인스턴스 인식 손실 함수(예: Generalized Dice, Focal Loss)와 비교해 Blob Loss는 어떻게 성능을 내는가?
• RQ4 미분 가능한 블롭 분해가 엔드 투 엔드 훈련에서 효과적인 역전파 및 최적화를 가능하게 하는가?
• RQ5 제안된 손실 함수는 다양한 정도의 인스턴스 불균형을 보이는 다양한 의료 영상 작업에 일반화되는가?

주요 결과

• Blob Loss는 LiTS 간암 종양 분할 벤치마크에서 최신 기술 수준의 성능를 달성하며, 소형 종양에서 표준 Dice 및 Cross-Entropy 손실보다 평균 Dice 점수 최대 5.2% 향상되었다.
• ISIC 2018 피부 병변 분할 데이터셋에서 Blob Loss는 표준 Dice 대비 평균 Dice를 3.8% 향상시키고 Focal Loss 대비 2.1% 향상되었으며, 특히 소형 병변에서의 성능 향상이 두드러졌다.
• Blob Loss의 크기 인지 가중치 구성요소는 큰 인스턴스와 작은 인스턴스 간의 Dice 점수 격차를 크게 줄였으며, 실험 전반에서 평균 18.7%의 소형 객체 재현율 향상을 이뤘다.
• 절단 실험 결과, 미분 가능한 블롭 분해와 크기 인지 가중치 모두 성능 향상에 필수적임을 확인하였으며, 둘 중 하나를 제거하면 성능이 크게 떨어졌다.
• 이 방법은 다양한 백본 아키텍처(예: ResNet, DenseNet)와 네트워크 설계(U-Net, nnU-Net)에 걸쳐 일반화되며, 강건성과 호환성을 입증했다.
• 시각적 분석 결과, Blob Loss는 기존 손실 함수에서 흔히 발생하는 소형 분할된 병변의 분할 파편화 현상을 줄여 더 일관되고 완전한 분할 결과를 생성함을 확인했다.