[論文レビュー] Unsupervised Temperature Scaling: An Unsupervised Post-Processing Calibration Method of Deep Networks

Azadeh Sadat Mozafari, Hugo Siqueira Gomes+2 more|arXiv (Cornell University)|May 1, 2019

Cutaneous Melanoma Detection and Management参考文献 25被引用数 3

ひとこと要約

本稿では、教師なし温度スケーリング（UTS）を提案する。UTSは、ラベルなしテストデータのみを用いて深層ニューラルネットワークをキャリブレーションする後処理手法であり、ラベル付き検証データの必要性を排除する。UTSは、教師あり温度スケーリングと同等の最先端のキャリブレーション性能を達成しながら、モデルの精度と計算効率を維持し、皮膚腫瘍検出における信頼性の向上を顕著に実現する。

ABSTRACT

The great performances of deep learning are undeniable, with impressive results over a wide range of tasks. However, the output confidence of these models is usually not well-calibrated, which can be an issue for applications where confidence on the decisions is central to providing trust and reliability (e.g., autonomous driving or medical diagnosis). For models using softmax at the last layer, Temperature Scaling (TS) is a state-of-the-art calibration method, with low time and memory complexity as well as demonstrated effectiveness. TS relies on a T parameter to rescale and calibrate values of the softmax layer, whose parameter value is computed from a labelled dataset. We are proposing an Unsupervised Temperature Scaling (UTS) approach, which does not depend on labelled samples to calibrate the model, which allows, for example, the use of a part of a test samples to calibrate the pre-trained model before going into inference mode. We provide theoretical justifications for UTS and assess its effectiveness on a wide range of deep models and datasets. We also demonstrate calibration results of UTS on skin lesion detection, a problem where a well-calibrated output can play an important role for accurate decision-making.

研究の動機と目的

• 深層学習におけるモデルのキャリブレーションの不備、すなわちソフトマックス出力が過信的であり、真のクラス確率を適切に反映しないという課題に対処すること。
• 医療診断のような実世界の応用においてコストが高く、実用的でないラベル付きデータに依存しない後処理キャリブレーションの必要性を排除すること。
• 温度スケーリングの低複雑性と精度保持の利点を維持しながら、ラベルなしテストサンプルのみを用いたキャリブレーションを可能にする手法の開発。
• 特に皮膚腫瘍検出のような高リスク応用において、多様なアーキテクチャとデータセットを対象にUTSの有効性を検証すること。

提案手法

• UTSは、ラベルなしの小さなテストデータサブセット上で負の対数尤度（NLL）を最小化することで、最適な温度パラメータTを推定する。このプロセスではラベルの必要性を回避する。
• 分類境界に近い、クラス確率がバランスしているサンプル（信頼性の高いキャリブレーション候補）を特定し、それらの対称的な事後分布を活用する。
• 閾値θₖは、誤分類されたサンプルにおけるクラスkのソフトマックススコアの平均と標準偏差の和として計算され、高信頼性で曖昧な予測が選択される。
• ラベルなしサンプルからの信頼度スコアの経験的分布を用いて、真のキャリブレーション分布を近似し、ラベルなしでTの推定を可能にする。
• 推論後に温度スケーリング変換S_y(x) = exp(h_y / T) / Σ_j exp(h_j / T) を適用することで、信頼度出力を再キャリブレーションする。
• 境界に近いサンプルが対称的な事後尤度を持つことから、理論的にもUTSの有効性が裏付けられる。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしデータ、具体的にはラベルなしテストサンプルのみを用いて、深層ニューラルネットワークのキャリブレーションを効果的に行うことは可能か？
• RQ2 UTSは、計算コストを最小限に抑えつつ、教師あり温度スケーリングと同等のキャリブレーション性能を達成できるか？
• RQ3 ラベル付けが高コストであるような実世界の高リスク応用、例えば皮膚腫瘍分類において、UTSは効果を示すか？
• RQ4 分類境界に近いサンプルを、ラベルなしで最適な温度パラメータTを推定するために信頼性を持って使用できるか？
• RQ5 UTSは、誤分類されたサンプルと正しく分類されたサンプルの両方における信頼度キャリブレーションにどのような影響を与えるか？

主な発見

• UTSは、ラベルなしモデルよりも一貫してキャリブレーションを向上させ、複数のデータセットとアーキテクチャにおいて教師あり温度スケーリングと同等またはそれ以上の性能を達成する。
• ResNet18を用いたCIFAR-10では、UTSによりECEが0.043から0.031に低下し、NLLが0.427から0.301に低下し、一部のケースでTSを上回る。
• ISIC 2018における皮膚腫瘍検出では、UTSにより誤分類されたサンプルの信頼度が顕著に低下する一方で、正しく分類されたサンプルの高信頼度は維持される。
• キャリブレーション後もモデルの精度が保持されることから、温度スケーリングが予測順序を変更しないことが確認される。
• 実験では、12のモデル・データセット組み合わせのうち7つでUTSがTSを上回るキャリブレーション性能を示し、多様な設定にわたる頑健性が裏付けられる。
• 理論的および実験的分析を通じて、ラベルなしデータによるキャリブレーションの有効性が検証され、境界付近のサンプルが真のキャリブレーション分布の信頼性の高い推定を提供することが示された。