[논문 리뷰] Effect of the output activation function on the probabilities and errors in medical image segmentation

Lars Nieradzik, Gerik Scheuermann외 2명|arXiv (Cornell University)|2021. 09. 02.

Medical Image Segmentation Techniques참고 문헌 46인용 수 4

한 줄 요약

이 논문은 의료 영상 분할에서 다양한 출력 활성화 함수가 분할 정확도와 확률 캘리브레이션에 미치는 영향을 조사한다. 논문은 BCE, 디스크 손실, MSE의 세 가지 손실 함수를 사용하여 ACDC, ISLES, Kvasir-SEG, Medical Segmentation Decathlon의 네 개의 의료 데이터셋에서 일곱 가지 활성화 함수—시그모이드, 누적분포함수(CDF), 아 tangent, 하드탄, 역제곱근, 선형, 소프트시그노이드—를 평가하며, 디스크 손실 하에서 아 tangent가 시그모이드보다 우수하고, 활성화 함수의 기울기(기울기의 기울기)가 오차율과 확률 캘리브레이션에 영향을 준다는 것을 발견한다.

ABSTRACT

The sigmoid activation is the standard output activation function in binary classification and segmentation with neural networks. Still, there exist a variety of other potential output activation functions, which may lead to improved results in medical image segmentation. In this work, we consider how the asymptotic behavior of different output activation and loss functions affects the prediction probabilities and the corresponding segmentation errors. For cross entropy, we show that a faster rate of change of the activation function correlates with better predictions, while a slower rate of change can improve the calibration of probabilities. For dice loss, we found that the arctangent activation function is superior to the sigmoid function. Furthermore, we provide a test space for arbitrary output activation functions in the area of medical image segmentation. We tested seven activation functions in combination with three loss functions on four different medical image segmentation tasks to provide a classification of which function is best suited in this application scenario.

연구 동기 및 목표

• 표준 시그모이드를 초월하여 의료 영상 분할에 최적의 출력 활성화 함수를 규명하기 위해.
• 활성화 함수의 점 渐 점 행동이 예측 확률과 분할 오차에 어떻게 영향을 주는지 분석하기 위해.
• 의료 분할 작업에서 활성화 함수와 손실 함수(BCE, 디스크, MSE) 간의 상호작용을 평가하기 위해.
• 의료 영상 분할에서 임의의 출력 활성화 함수를 비교하기 위한 재현 가능한 테스트 공간을 구축하기 위해.
• 임상 적용을 위한 딥러닝 모델의 분할 정확도와 확률 캘리브레이션을 향상시키기 위해.

제안 방법

• 일곱 가지 출력 활성화 함수를 평가: 시그모이드, 표준 정규 누적분포함수(CDF), 아 tangent, 하드탄, 역제곱근, 선형, 소프트시그노이드.
• 각 활성화 함수를 세 가지 손실 함수와 조합: 이진 교차엔트로피(BCE), 디스크 손실, 평균제곱오차(MSE).
• 네 개의 공개 의료 영상 분할 데이터셋에서 신경망을 훈련: ACDC, ISLES, Kvasir-SEG, Medical Segmentation Decathlon.
• 두 가지 지표를 사용해 성능 평가: 음의 로그우도(캘리브레이션을 위해), 디스크 계수(분할 정확도를 위해).
• 활성화 함수의 변화율(도함수)을 분석하여 점 渐 점 행동과 모델 성능 간의 상관관계를 분석.
• 새로운 활성화 함수의 재현 가능한 평가를 위한 포괄적인 오픈 테스트 공간(코드 및 결과 포함)을 제공.

실험 결과

연구 질문

• RQ1 출력 활성화 함수의 변화율은 분할 오차와 확률 캘리브레이션에 어떻게 영향을 미치는가?
• RQ2 이진 교차엔트로피, 디스크 손실, 또는 평균제곱오차와 조합했을 때 어떤 출력 활성화 함수가 가장 뛰어난 분할 성능을 낼 수 있는가?
• RQ3 표준 시그모이드 활성화 함수가 의료 영상 분할에 최적의 선택인가, 아니면 다른 대안이 더 우수한가?
• RQ4 손실 함수의 선택이 활성화 함수의 선택과 모델 성능에 미치는 상호작용은 어떻게 되는가?
• RQ5 예를 들어 프로빗, 선형, CDF와 같은 대체 통계 활성화 함수가 의료 분할 작업에서 시그모이드를 능가할 수 있는가?

주요 결과

• 디스크 손실 하에서 아 tangent 활성화 함수가 시그모이드 함수를 능가하여 뛰어난 분할 정확도를 달성했다.
• 더 높은 변화율(기울기의 기울기)을 가진 활성화 함수는 특히 디스크 계수 측면에서 더 나은 분할 결과를 산출했다.
• 변화율이 느린 함수, 예를 들어 표준 정규 CDF는 음의 로그우도로 측정된 바와 같이 더 잘 캘리브레이션된 확률을 산출했다.
• 시그모이드 활성화 함수는 의료 영상 분할에 최적의 선택이 아니며, CDF 및 아 tangent와 같은 대안 함수가 더 나은 성능을 보였다.
• 손실 함수의 선택이 최적의 활성화 함수에 큰 영향을 미치며, 디스크 손실은 아 tangent를 선호하고, BCE는 더 기울어진 함수를 선호한다.
• 제안된 테스트 공간은 의료 영상 분할에서 어떤 출력 활성화 함수라도 체계적으로 평가할 수 있도록 하여 향후 벤치마킹 및 모델 개발을 지원한다.