[論文レビュー] Post-hoc Calibration of Neural Networks.

Amir Rahimi, Kartik Gupta+4 more|arXiv (Cornell University)|Jun 23, 2020

Adversarial Robustness in Machine Learning参考文献 22被引用数 4

ひとこと要約

この論文は、ベースネットワークが最適でない場合でも、学習可能なキャリブレーションヘッド（g）を追加し、ベースネットワーク（f）の出力に対して負の対数尤度（NLL）を最小化することで、最終的なモデル（g∘f）がキャリブレーション可能であることを理論的に証明することで、ニューラルネットワークの事後キャリブレーションの理論的基盤を提供する。画像分類ベンチマークにおける実験により、理論的考察が裏付けられている。

ABSTRACT

Calibration of neural networks is a critical aspect to consider when incorporating machine learning models in real-world decision-making systems where the confidence of decisions are equally important as the decisions themselves. In recent years, there is a surge of research on neural network calibration and the majority of the works can be categorized into post-hoc calibration methods, defined as methods that learn an additional function to calibrate an already trained base network. In this work, we intend to understand the post-hoc calibration methods from a theoretical point of view. Especially, it is known that minimizing Negative Log-Likelihood (NLL) will lead to a calibrated network on the training set if the global optimum is attained (Bishop, 1994). Nevertheless, it is not clear learning an additional function in a post-hoc manner would lead to calibration in the theoretical sense. To this end, we prove that even though the base network ($f$) does not lead to the global optimum of NLL, by adding additional layers ($g$) and minimizing NLL by optimizing the parameters of $g$ one can obtain a calibrated network $g \circ f$. This not only provides a less stringent condition to obtain a calibrated network but also provides a theoretical justification of post-hoc calibration methods. Our experiments on various image classification benchmarks confirm the theory.

研究の動機と目的

• 事後キャリブレーション手法の理論的基盤を理解すること。
• トレーニング後のベースネットワークに追加の関数を学習することで、理論的にキャリブレートされた予測が得られるかどうかを調査すること。
• キャリブレーションを達成するためには、ベースネットワークがNLLのグローバル最適解に到達している必要があるという要件を緩和すること。
• 事後キャリブレーション手法の実験的成功を理論的に裏付ける根拠を提供すること。

提案手法

• 論文は、事前に訓練されたベースネットワークfと、学習可能なキャリブレーションヘッドgからなる二段階モデル（g∘f）を導入する。
• fの出力に対してgのパラメータを最適化することでNLLを最小化すると、fがグローバルに最適でない場合でも、キャリブレートされたモデルが得られることを証明する。
• 理論的分析は、グローバル最適解に到達した場合にNLLを最小化すると訓練セット上でキャリブレーションが達成されるという既知の性質に依拠する。
• ベースネットワークfを固定し、出力のキャリブレーションのためにgのパラメータのみを最適化する。
• gが必要な変換をモデル化できる限り、任意のベースネットワークおよびキャリブレーションヘッドのアーキテクチャに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 ベースネットワークfがグローバルに最適でない場合でも、学習可能なヘッドgによる事後キャリブレーションが理論的にキャリブレーション可能か。
• RQ2 gのパラメータを最適化した後、合成関数g∘fがキャリブレートされるための条件は何か。
• RQ3 gを介してfの出力に対してNLLを最小化することは、最終モデルのキャリブレーションとどのように関係するか。
• RQ4 理論的根拠は、多様な画像分類ベンチマークにおいて実際の状況でも成り立つか。

主な発見

• 理論的分析により、事前に訓練されたベースネットワークfの出力に対して学習可能なヘッドgを用いてNLLを最小化することで、fがグローバルに最適でない場合でも、最終モデルg∘fがキャリブレートされることを証明した。
• キャリブレーションを達成するためには、ベースネットワークがNLLのグローバル最適解に到達している必要があるという条件を緩和できる。
• 理論的根拠は、実際の事後キャリブレーション手法の実験的成功を支持する。
• 複数の画像分類ベンチマークにおける実験により、理論的主張が検証され、有効なキャリブレーションが達成された。