[論文レビュー] Improved Trainable Calibration Method for Neural Networks on Medical Imaging Classification

Gongbo Liang, Yu Zhang+2 more|arXiv (Cornell University)|Sep 9, 2020

COVID-19 diagnosis using AI参考文献 36被引用数 29

ひとこと要約

この論文は、分類精度を損なわずに医療画像におけるニューラルネットワークのキャリブレーションを向上させる、トレーニング可能な新規キャリブレーション手法である「信頼度と正確度の差分（DCA）」を提案する。DCAを補助損失として追加することで、精度が頭打ちになった際の交差エントロピー損失への過剰適合を抑制し、4つの医療データセットと4つのアーキテクチャで平均して期待キャリブレーション誤差（ECE）を65.72％低減した。分類精度は維持された。

ABSTRACT

Recent works have shown that deep neural networks can achieve super-human performance in a wide range of image classification tasks in the medical imaging domain. However, these works have primarily focused on classification accuracy, ignoring the important role of uncertainty quantification. Empirically, neural networks are often miscalibrated and overconfident in their predictions. This miscalibration could be problematic in any automatic decision-making system, but we focus on the medical field in which neural network miscalibration has the potential to lead to significant treatment errors. We propose a novel calibration approach that maintains the overall classification accuracy while significantly improving model calibration. The proposed approach is based on expected calibration error, which is a common metric for quantifying miscalibration. Our approach can be easily integrated into any classification task as an auxiliary loss term, thus not requiring an explicit training round for calibration. We show that our approach reduces calibration error significantly across various architectures and datasets.

研究の動機と目的

• 医療画像分類に用いられる深層ニューラルネットワークにおける過剰な自信（overconfidence）という深刻な問題に対処すること。
• 予測された信頼度と実際の正確度の乖離を低減することで、医療AIシステムにおける不確実性の評価を改善すること。
• 高い分類精度を維持しつつ、モデルのキャリブレーションを著しく改善するキャリブレーション手法を開発すること。
• 別途のトレーニングラウンドや複雑な後処理を必要とせず、シンプルでトレーニング可能かつ統合可能なキャリブレーションソリューションを提供すること。

提案手法

• 本手法は、交差エントロピー損失が減少するが正確度が停滞する場合にモデルをペナルティ化する補助損失項「信頼度と正確度の差分（DCA）」を導入する。
• DCAは、予測確率の各ビン内での平均信頼度と正確度の絶対差として定義され、M個のビンを用いたECEの近似として用いられる。
• DCA損失は標準的な交差エントロピー損失と組み合わせられ、追加のキャリブレーション段階を必要とせず、エンド・ツー・エンド最適化が可能になる。
• DCA損失のスケーリングにハイパーパrameter β を用い、キャリブレーションの向上とトレーニングの安定性のバランスをとる。
• 本手法はアーキテクチャに依存せず、最小限の変更で任意のニューラルネットワーク分類器に適用可能である。

実験結果

リサーチクエスチョン

• RQ1 トレーニング可能でエンド・ツー・エンドのキャリブレーション手法は、分類精度を損なわず、医療画像分類におけるモデルの不キャリブレーションを低減できるか？
• RQ2 DCA損失は、多様な医療画像データセットとネットワークアーキテクチャにおいて、キャリブレーションの向上にどの程度有効であるか？
• RQ3 提案手法は、既存のキャリブレーション技術と比較して、真の確率分布をよりよく回復できるか？
• RQ4 DCA手法の性能は、ハイパーパrameter β の選択にどの程度敏感か？

主な発見

• 提案されたDCA手法は、4つの医療画像データセットと4つのCNNアーキテクチャで、期待キャリブレーション誤差（ECE）を平均して65.72％低減した。ECEは0.1006から0.0345に低下した。
• 本手法は高い分類精度を維持しており、キャリブレーションなしのモデルでは83.08％、DCAキャリブレーション済みモデルでは83.58％を示し、性能の低下は認められなかった。
• t-SNE可視化では、DCAで学習された特徴量が、特にKather 5000データセットにおいて、温度スケーリングと比較してよりクラスに特徴的な、密集した構造を示した。
• DCA手法により回復された確率分布は、真の値の対角線に近く、キャリブレーションが不正確なモデルや温度スケーリングよりも優れていることを示した。
• β ≥ 10 の場合、ECEはβの値にほとんど依存せず、ほとんどのデータセットで10–15の範囲で最適な性能が得られた。