[論文レビュー] Don't Just Blame Over-parametrization for Over-confidence: Theoretical Analysis of Calibration in Binary Classification

Yu Bai, Mei Song+2 more|arXiv (Cornell University)|Feb 15, 2021

Machine Learning and Algorithms参考文献 43被引用数 16

ひとこと要約

この論文は、機械学習モデルの過信が過パラメータ化に起因するという一般的な信念に挑戦する。理論的に、パラメータ数が少ない良好に指定されたロジスティック回帰でさえ、実現可能設定下では本質的に過信的であることを証明しており、補正誤差がΘ(d/n)のスケーリングを示す。また、活性化関数に応じて過信または過小信が生じる条件を同定する。

ABSTRACT

Modern machine learning models with high accuracy are often miscalibrated -- the predicted top probability does not reflect the actual accuracy, and tends to be over-confident. It is commonly believed that such over-confidence is mainly due to over-parametrization, in particular when the model is large enough to memorize the training data and maximize the confidence. In this paper, we show theoretically that over-parametrization is not the only reason for over-confidence. We prove that logistic regression is inherently over-confident, in the realizable, under-parametrized setting where the data is generated from the logistic model, and the sample size is much larger than the number of parameters. Further, this over-confidence happens for general well-specified binary classification problems as long as the activation is symmetric and concave on the positive part. Perhaps surprisingly, we also show that over-confidence is not always the case -- there exists another activation function (and a suitable loss function) under which the learned classifier is under-confident at some probability values. Overall, our theory provides a precise characterization of calibration in realizable binary classification, which we verify on simulations and real data experiments.

研究の動機と目的

• ロジスティック回帰における過信が過パラメータ化に起因するものかどうかを調査すること。
• 実現可能設定下での良好に指定された、パラメータ数が少ないロジスティック回帰の補正行動を分析すること。
• 適切に指定されたモデルにおけるバイナリ分類で、過信または過小信が生じる一般的な条件を同定すること。
• 理論的予測をシミュレーションおよびCIFAR-10と合成データの実世界データ実験を通じて検証すること。

提案手法

• 高次元で比例極限（n,d→∞でn/dが大きい）における経験的リスク最小化（ERM）の理論的分析。
• 極限においてERMを特徴付ける非線形方程式系の解の一次挙動の導出。
• 推定された重みベクトルと真のパラメータベクトルに基づく補正曲線の閉形式表現の使用。
• 同じERMフレームワーク下で過小信を引き起こす特定の活性化関数の構築。
• 理論的予測の妥当性を検証するため、n=2000、d=100の合成データ上でロジスティック回帰をシミュレート。
• CIFAR-10（5クラスおよび10クラスのサブセット）に擬似ラベル付けを適用し、実現可能仮定下での実データにおける補正性をテスト。

実験結果

リサーチクエスチョン

• RQ1 ロジスティック回帰における過信は、過パラメータ化に起因するのか、それともモデルの本質的性質なのか？
• RQ2 良好に指定されたバイナリ分類において、活性化関数のどのような条件が過信または過小信を引き起こすか？
• RQ3 パラメータ数が少なく、実現可能な設定下で、補正誤差はモデル次元と標本サイズの関数としてどのようにスケーリングされるか？
• RQ4 適切に指定された設定下で、適切な活性化関数および損失関数の選択により、過小信を誘発できるか？
• RQ5 理論的予測であるΘ(d/n)の補正誤差は、実世界のデータおよびシミュレーションにおいてどの程度成立するか？

主な発見

• 真のモデルからデータが生成され、n ≫ dであっても、良好に指定されたロジスティック回帰は本質的に過信的であり、極限において過信の程度はΘ(d/n)に達する。
• ロジスティック回帰の全体的な補正誤差はΘ(d/n)であり、過信が体系的であることが確認され、過学習や記憶とは無関係である。
• z > 0で上に凹である対称的かつ単調な活性化関数は、良好に指定された設定下で、すべての信頼度レベルで過信を引き起こす。
• 過信が普遍的でないことを示す反例として、特定の信頼度レベルで過小信となる学習済み分類器を生成できる活性化関数が存在する。
• 合成データおよび実データ（CIFAR-10の擬似ラベル付け）におけるシミュレーションにより、過信が厳密な理論的仮定を越えて、パラメータ数が少ない設定においても広く継続することが確認された。
• 理論的分析により、高次元比例極限におけるERM解の一次挙動が厳密に確立され、補正の正確な特徴付けが得られた。