[論文レビュー] Neural Clamping: Joint Input Perturbation and Temperature Scaling for Neural Network Calibration

Yung-Chen Tang, Pin‐Yu Chen+1 more|arXiv (Cornell University)|Sep 23, 2022

Spectroscopy Techniques in Biomedical and Chemical Research被引用数 4

ひとこと要約

この論文では、ニューラルネットワークのキャリブレーションを向上させるために、普遍的な入力摂動と温度スケーリングパラメータを同時に学習する新しい後処理キャリブレーション手法であるNeural Clampingを提案する。入力と出力の変換を同時に最適化することで、Neural Clampingは最先端の性能を達成し、CIFAR-100でResNet-110を用いた際、最良のベースラインと比較して期待キャリブレーション誤差（ECE）を36%低減した。

ABSTRACT

Neural network calibration is an essential task in deep learning to ensure consistency between the confidence of model prediction and the true correctness likelihood. In this paper, we propose a new post-processing calibration method called Neural Clamping, which employs a simple joint input-output transformation on a pre-trained classifier via a learnable universal input perturbation and an output temperature scaling parameter. Moreover, we provide theoretical explanations on why Neural Clamping is provably better than temperature scaling. Evaluated on BloodMNIST, CIFAR-100, and ImageNet image recognition datasets and a variety of deep neural network models, our empirical results show that Neural Clamping significantly outperforms state-of-the-art post-processing calibration methods. The code is available at github.com/yungchentang/NCToolkit, and the demo is available at huggingface.co/spaces/TrustSafeAI/NCTV.

研究の動機と目的

• 医療診断や自動運転などの安全が重要な応用分野において顕著なキャリブレーションの悪さが生じる問題に対処すること。
• 従来の出力のみのキャリブレーションにとどまらず、入力と出力の変換を同時に最適化する新しい後処理キャリブレーションフレームワークを提案すること。
• 制約付きエントロピー最大化の観点から、入力摂動を組み合わせたキャリブレーションが温度スケーリング単体よりも理論的に優れていることを正当化すること。
• 実験的に、Neural ClampingがResNetやRegNetを含む多様なモデルとデータセット（CIFAR-100およびImageNet-1K）において、キャリブレーション性能を顕著に向上させることを検証すること。

提案手法

• Neural Clampingは、すべての入力に学習可能な普遍的入力摂動δを適用し、事前に訓練された分類器の出力ログティットに学習可能な温度スケーリングパラメータTを適用する。
• パラメータδとTは、キャリブレーションデータセット上で重み減衰を伴うファーカル損失を最小化することで、同時に最適化され、データ駆動型の適応が可能になる。
• δのための1次近似に基づくデータ駆動型初期化が導入され、トレーニングの安定性と収束性が向上する。
• 推論時、最適化されたδ*とT*がそれぞれ入力とログティットに適用され、元のモデルパラメータθは更新されない。
• このフレームワークは任意の事前訓練済みKクラス分類器と互換性があり、摂動と温度の両方に対してバックプロパゲーションによるエンドツーエンドのキャリブレーションが可能である。
• 理論的分析により、Neural Clampingが温度スケーリング単体よりも優れた制約付きエントロピー最大化を達成できることを証明し、その優位性を裏付けた。

実験結果

リサーチクエスチョン

• RQ1 入力と出力の両方を同時にキャリブレーションすることで、出力ログティットのみを調整する従来の後処理手法を上回ることができるか？
• RQ2 温度スケーリング単体と比較して、入力摂動を組み合わせることに理論的利点はあるか？
• RQ3 入力摂動δのデータ駆動型初期化は、キャリブレーションプロセスの安定性と性能にどのように影響を与えるか？
• RQ4 出力キャリブレーションと組み合わせた場合、入力キャリブレーションがどれほどキャリブレーション誤差の低減に寄与するか？
• RQ5 Neural Clampingは、ImageNet-1KやCIFAR-100を含む異なるアーキテクチャとデータセットに一般化可能か？

主な発見

• CIFAR-100で訓練されたResNet-110に対して、Neural Clampingは最良のベースラインと比較して期待キャリブレーション誤差（ECE）を36%低減した。
• 入力と出力のキャリブレーションを組み合わせた場合、ECEがさらに29%低減され、共同最適化の累積的利点が明確に示された。
• 入力摂動δのデータ駆動型初期化は、ランダム初期化と比較して5回の実験で著しく安定したトレーニング（分散が低減）を実現した。
• RegNetY-400MFでは72.20%の高い精度を維持しながらも、エントロピーを改善し、ECEを0.0107まで低減した。
• ResNet-110ではECEが0.0085にまで低下し、出力のみのキャリブレーション（0.0119）と比較して29%低く、最良のベースラインと比較して36%低い水準に到達した。
• 複数のモデルとデータセットにおいて、温度スケーリング、ベクトルスケーリング、マトリックススケーリング、ODIRベースの手法を含む最先端の後処理キャリブレーション技術をすべての評価指標で上回った。