[论文解读] Effect of the output activation function on the probabilities and errors in medical image segmentation

Lars Nieradzik, Gerik Scheuermann+2 more|arXiv (Cornell University)|Sep 2, 2021

Medical Image Segmentation Techniques参考文献 46被引用 4

一句话总结

本文研究了不同输出激活函数对医学图像分割中分割精度和概率校准的影响。在四个医学数据集上，评估了七种激活函数（sigmoid、CDF、反正切、hardtanh、反平方根、线性、softsign）与三种损失函数（BCE、Dice、MSE）的组合，发现当使用Dice损失时，反正切函数优于sigmoid函数，且激活函数的陡度会影响误差率和概率校准。

ABSTRACT

The sigmoid activation is the standard output activation function in binary classification and segmentation with neural networks. Still, there exist a variety of other potential output activation functions, which may lead to improved results in medical image segmentation. In this work, we consider how the asymptotic behavior of different output activation and loss functions affects the prediction probabilities and the corresponding segmentation errors. For cross entropy, we show that a faster rate of change of the activation function correlates with better predictions, while a slower rate of change can improve the calibration of probabilities. For dice loss, we found that the arctangent activation function is superior to the sigmoid function. Furthermore, we provide a test space for arbitrary output activation functions in the area of medical image segmentation. We tested seven activation functions in combination with three loss functions on four different medical image segmentation tasks to provide a classification of which function is best suited in this application scenario.

研究动机与目标

• 识别医学图像分割中超越标准sigmoid函数的最优输出激活函数。
• 分析激活函数渐近行为对预测概率和分割误差的影响。
• 评估激活函数与损失函数（BCE、Dice、MSE）在医学分割任务中的相互作用。
• 建立一个可复现的测试空间，用于比较任意输出激活函数在医学图像分割中的表现。
• 提升深度学习模型在临床应用中的分割精度与概率校准性能。

提出的方法

• 评估了七种输出激活函数：sigmoid、标准正态CDF、反正切、hardtanh、反平方根、线性、softsign。
• 将每种激活函数与三种损失函数结合：二元交叉熵（BCE）、Dice损失、均方误差（MSE）。
• 在四个公开的医学图像分割数据集（ACDC、ISLES、Kvasir-SEG、Medical Segmentation Decathlon）上训练神经网络。
• 使用两个指标评估性能：负对数似然（用于校准评估）和Dice系数（用于分割精度评估）。
• 分析激活函数的变化率（导数）以关联其渐近行为与模型性能。
• 提供了一个全面的开放测试空间，包含代码与结果，支持对新激活函数的可复现评估。

实验结果

研究问题

• RQ1 输出激活函数的变化率如何影响分割误差与概率校准？
• RQ2 当与二元交叉熵、Dice损失或均方误差结合时，哪种输出激活函数能实现最佳分割性能？
• RQ3 标准sigmoid激活函数是否在医学图像分割中表现最优，还是其他替代函数更优？
• RQ4 损失函数的选择如何与激活函数的选择相互作用，进而影响模型性能？
• RQ5 替代的统计激活函数（如probit、线性、CDF）是否能在医学分割任务中超越sigmoid函数？

主要发现

• 在Dice损失下，反正切激活函数优于sigmoid函数，实现了更高的分割精度。
• 变化率更高（导数更陡）的激活函数产生了更好的分割结果，尤其在Dice系数方面表现更优。
• 变化率较慢的函数（如标准正态CDF）在负对数似然指标下表现出更好的概率校准效果。
• sigmoid激活函数并非医学图像分割的最优选择，其他函数如CDF与反正切表现更优。
• 损失函数的选择显著影响最优激活函数的选择，其中Dice损失偏好反正切函数，而BCE偏好更陡的函数。
• 所提出的测试空间支持对任意输出激活函数在医学图像分割中的系统性评估，有助于未来基准测试与模型开发。