[論文レビュー] Effect of the output activation function on the probabilities and errors in medical image segmentation

Lars Nieradzik, Gerik Scheuermann+2 more|arXiv (Cornell University)|Sep 2, 2021

Medical Image Segmentation Techniques参考文献 46被引用数 4

ひとこと要約

本稿は、医療画像セグメンテーションにおける出力活性化関数の種類がセグメンテーション精度および確率キャリブレーションに与える影響を調査する。7種類の活性化関数（シグモイド、CDF、アークタンジェント、ハードタンジェント、逆平方根、線形、ソフトシグノイド）を、3種類の損失関数（BCE、Dice、MSE）と組み合わせ、4つの医療データセットで評価した結果、アークタンジェントはDice損失下でシグモイドを上回り、活性化関数の勾配の急峻さが誤差率および確率キャリブレーションに影響することが判明した。

ABSTRACT

The sigmoid activation is the standard output activation function in binary classification and segmentation with neural networks. Still, there exist a variety of other potential output activation functions, which may lead to improved results in medical image segmentation. In this work, we consider how the asymptotic behavior of different output activation and loss functions affects the prediction probabilities and the corresponding segmentation errors. For cross entropy, we show that a faster rate of change of the activation function correlates with better predictions, while a slower rate of change can improve the calibration of probabilities. For dice loss, we found that the arctangent activation function is superior to the sigmoid function. Furthermore, we provide a test space for arbitrary output activation functions in the area of medical image segmentation. We tested seven activation functions in combination with three loss functions on four different medical image segmentation tasks to provide a classification of which function is best suited in this application scenario.

研究の動機と目的

• 標準的なシグモイド関数を超える医療画像セグメンテーションにおける最適な出力活性化関数の特定を目的とする。
• 活性化関数の漸近的挙動が予測確率およびセグメンテーション誤差に与える影響を分析すること。
• バイナリクロスエントロピー（BCE）、Dice損失、平均二乗誤差（MSE）の損失関数と活性化関数の相互作用が医療セグメンテーションタスクに与える影響を評価すること。
• 任意の出力活性化関数を医療画像セグメンテーションで比較評価可能な再現可能なテスト環境を確立すること。
• 臨床応用を想定したディープラーニングモデルにおけるセグメンテーション精度および確率キャリブレーションの向上を図ること。

提案手法

• 7種類の出力活性化関数（シグモイド、標準正規CDF、アークタンジェント、ハードタンジェント、逆平方根、線形、ソフトシグノイド）を評価した。
• 各活性化関数を3種類の損失関数（バイナリクロスエントロピー（BCE）、Dice損失、平均二乗誤差（MSE））と組み合わせた。
• 4つの公的医療画像セグメンテーションデータセット（ACDC、ISLES、Kvasir-SEG、Medical Segmentation Decathlon）を用いてニューラルネットワークを学習させた。
• 2つの指標を用いて性能を評価した：負の対数尤度（キャリブレーションの指標）およびDice係数（セグメンテーション精度の指標）。
• 活性化関数の変化率（微分）を分析し、漸近的挙動とモデル性能の相関関係を検証した。
• 新しい活性化関数の再現可能な評価を可能にする包括的なオープンテスト環境（コードおよび結果を含む）を提供した。

実験結果

リサーチクエスチョン

• RQ1 出力活性化関数の変化率は、セグメンテーション誤差および確率キャリブレーションにどのように影響するか？
• RQ2 バイナリクロスエントロピー、Dice損失、または平均二乗誤差と組み合わせた場合、どの出力活性化関数が最高のセグメンテーション性能を示すか？
• RQ3 標準的なシグモイド活性化関数は医療画像セグメンテーションにおいて最適であるか、それとも代替関数が優れているか？
• RQ4 損失関数の選択と活性化関数の選択の間には、モデル性能にどのように相互作用があるか？
• RQ5 統計的活性化関数（例：プロビット、線形、CDF）は、シグモイド関数を上回る性能を示す可能性があるか？

主な発見

• アークタンジェント活性化関数は、Dice損失下でシグモイド関数を上回り、優れたセグメンテーション精度を達成した。
• 変化率が高いため（勾配が急であるため）に、より良いセグメンテーション結果が得られ、特にDice係数の観点で顕著であった。
• 変化率が遅い関数（例：標準正規CDF）は、負の対数尤度で測定した確率キャリブレーションが優れていた。
• シグモイド活性化関数は医療画像セグメンテーションにおいて最適ではなく、CDF やアークタンジェントといった代替関数が優れた性能を示した。
• 損失関数の選択が最適な活性化関数に顕著に影響しており、Dice損失ではアークタンジェントが優れており、BCEでは勾配が急な関数が優れている。
• 提案されたテスト環境により、医療画像セグメンテーションにおける任意の出力活性化関数の体系的評価が可能となり、今後のベンチマーク作成およびモデル開発を支援できる。