[論文レビュー] Attended Temperature Scaling: A Practical Approach for Calibrating Deep Neural Networks

Azadeh Sadat Mozafari, Hugo Siqueira Gomes+3 more|arXiv (Cornell University)|Oct 27, 2018

Adversarial Robustness in Machine Learning参考文献 41被引用数 16

ひとこと要約

本稿では、小規模またはノイズの多い検証データセットや、高い精度を持つモデルにおいても良好な性能を示す、Attention重み付き温度スケーリング（ATS）という新しい事後補正手法を提案する。ATSは、温度スケーリングの際に注意機構を用いて重みを付けることで、深層ニューラルネットワークの信頼性の高い補正を実現する。標準的な温度スケーリングと同様に計算コストが低く抑えられる一方で、NLL や ECE といった補正指標において顕著に優れた性能を示し、特に医療分野の実世界応用において顕著な改善効果を示す。

ABSTRACT

Recently, Deep Neural Networks (DNNs) have been achieving impressive results on wide range of tasks. However, they suffer from being well-calibrated. In decision-making applications, such as autonomous driving or medical diagnosing, the confidence of deep networks plays an important role to bring the trust and reliability to the system. To calibrate the deep networks' confidence, many probabilistic and measure-based approaches are proposed. Temperature Scaling (TS) is a state-of-the-art among measure-based calibration methods which has low time and memory complexity as well as effectiveness. In this paper, we study TS and show it does not work properly when the validation set that TS uses for calibration has small size or contains noisy-labeled samples. TS also cannot calibrate highly accurate networks as well as non-highly accurate ones. Accordingly, we propose Attended Temperature Scaling (ATS) which preserves the advantages of TS while improves calibration in aforementioned challenging situations. We provide theoretical justifications for ATS and assess its effectiveness on wide range of deep models and datasets. We also compare the calibration results of TS and ATS on skin lesion detection application as a practical problem where well-calibrated system can play important role in making a decision.

研究の動機と目的

• 検証データセットが小規模またはラベルにノイズを含む状況下で、標準的な温度スケーリング（TS）の補正性能の低さを是正すること。
• 標準TSが一般化に失敗するほど高い精度を持つ深層ニューラルネットワークにおける信頼性の高い補正を向上させること。
• バックボーンネットワークの再訓練を必要とせず、モデルの精度を維持するとともに、時間・メモリ計算量を低く抑える事後補正手法を開発すること。
• 医療診断や自動運転など、安全性が求められる応用分野における信頼性の高い不確実性推定を可能にすること。
• 低データ量およびノイズラベル環境下でのATSの頑健性向上の理論的根拠を提示すること。

提案手法

• 温度スケーリングを適用する前に、ログティスに動的重みを付与する学習可能な注目機構を導入する。
• 検証データセット上で負の対数尤度（NLL）を最小化するように、温度パラメータ $ T $ と注目重み $ \theta $ を同時に最適化する。
• 微分可能で注目モジュールを用いて、$ T $ の最適化過程で信頼性や自信がより高いサンプルに高い重要度を割り当てる。
• バックボーンネットワークの再トレーニングを必要とせず、推論速度と精度を維持したまま、事後補正を実現する。
• ソフトマックス出力の直後にプラグイン層として適用可能であり、既に訓練済みモデルへの適用が可能である。
• 最終出力は $ \text{softmax}(z / T) $ であり、$ z $ は入力ログティス、$ T $ は注目重み付きNLL最小化により学習される。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークの補正において、小規模かつノイズの多い検証データセットに対して、温度スケーリングが頑健に機能するか。
• RQ2 提案された注目機構が、標準TSが失敗する高精度なモデルにおける補正性能を向上させるか。
• RQ3 多様なデータセットおよびアーキテクチャにおいて、ATSと標準TSの補正指標（NLL、ECE）の比較はどのようになるか。
• RQ4 皮膚腫瘍検出応用において、ATSが正しく分類されたサンプルと誤分類されたサンプルの区別をより良くし、意思決定の信頼性を向上させるか。
• RQ5 ATSが低データ量およびノイズラベル環境下で安定性と性能を向上させる理論的根拠は何か。

主な発見

• ISICデータセットにおいて、ATSは標準TSと比較してNLLとECEを顕著に低減し、ECEはATSで 0.333%、TSで 7.978% を記録した。
• ISICでトレーニングされたResNet200において、ATSはNLL 0.333、ECE 3.548% を達成し、TS（NLL: 0.379、ECE: 7.978%）を上回る性能を示した。
• 検証サンプルがたった801個の状況でも、ATSは補正を安定化させる一方、TSは小規模データセット環境下で高い分散と不安定性を示した。
• ラベルノイズ下でもATSは優れた性能を維持し、TSが最適な温度に収束できない状況でも頑健であることが示された。
• 皮膚腫瘍検出応用において、ATSは信頼性図のAUCを向上させ、正しく分類されたサンプルと誤分類されたサンプルの分離性が向上した。
• 可視化比較により、ATSはTSよりも正しく分類されたサンプルと誤分類されたサンプルの間の信頼度のギャップをより効果的に拡大していることが確認された。