[論文レビュー] On double-descent in uncertainty quantification in overparametrized models

Lucas Clarté, Bruno Loureiro+2 more|arXiv (Cornell University)|Oct 23, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

この論文は、ランダム特徴量モデルを用いて、過パラメータ化されたバイナリ分類における不確実性の定量化の鋭い漸近的分析を提供する。正則化推定器におけるキャリブレーション誤差に二重降下現象が見られる一方で、Empirical Bayes手法はより高い一般化誤差にもかかわらず、すべての過パラメータ化レベルで良好にキャリブレートされていることが示され、現代の機械学習モデルにおける不確実性のキャリブレーション不全に関する理論的洞察を提供する。

ABSTRACT

Uncertainty quantification is a central challenge in reliable and trustworthy machine learning. Naive measures such as last-layer scores are well-known to yield overconfident estimates in the context of overparametrized neural networks. Several methods, ranging from temperature scaling to different Bayesian treatments of neural networks, have been proposed to mitigate overconfidence, most often supported by the numerical observation that they yield better calibrated uncertainty measures. In this work, we provide a sharp comparison between popular uncertainty measures for binary classification in a mathematically tractable model for overparametrized neural networks: the random features model. We discuss a trade-off between classification accuracy and calibration, unveiling a double descent like behavior in the calibration curve of optimally regularized estimators as a function of overparametrization. This is in contrast with the empirical Bayes method, which we show to be well calibrated in our setting despite the higher generalization error and overparametrization.

研究の動機と目的

• 過パラメータ化モデルにおける不確実性測度の厳密な数学的比較を提供すること。
• 高次元設定における分類精度とキャリブレーションのトレードオフを調査すること。
• さまざまな過パラメータ化レベルにおけるキャリブレーション曲線の挙動を分析すること。
• 温度スケーリングやEmpirical Bayesなどの代表的な不確実性推定手法が、漸近的解析下でどのように機能するかを評価すること。
• 現代の深層学習の領域における不確実性定量化の理論的保証を確立すること。

提案手法

• 構造的特徴を持つバイナリ分類のための扱いやすく解ける枠組みとして、ランダム特徴量モデルを用いる。
• 一般化誤差とキャリブレーションの正確な式を得るために、近似メッセージパッシングおよびレプリカ法を含む漸近的統計力学的手法を適用する。
• 複数の不確実性推定器を比較：経験的リスク最小化（ERM）、ベイズ推定器（例：ラプラス近似）、および証拠最大化を用いたEmpirical Bayes。
• 条件付き期待値と事後分布近似を用いて、期待される信頼度とキャリブレーション誤差の正確な式を導出する。
• 過パラメータ化（p/n）の関数としてのキャリブレーション曲線を詳細に分析し、二重降下の挙動を明らかにする。
• 複数の設定（ノイズレベルやモデルノルムの変動など）における数値シミュレーションを通じて、結果の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 高次元バイナリ分類において、最適に正則化された推定器のキャリブレーション誤差は、過パラメータ化（p/n）の関数として二重降下を示すか？
• RQ2 Empirical Bayesは、他の不確実性推定手法と比較して、キャリブレーションと一般化誤差の両面でどのように異なるか？
• RQ3 正則化は、過パラメータ化モデルにおける過信の緩和に果たす役割は何か？
• RQ4 なぜラプラス近似のようなベイズ的手法は、高次元設定では一貫して過信しない傾向にあるのか？
• RQ5 温度スケーリングは、さまざまな過パラメータ化領域において、ERMベースの推定器のキャリブレーション誤差を効果的に是正できるか？

主な発見

• 最適に正則化された推定器（例：λloss や λerror を用いた ERM）のキャリブレーション誤差は、過パラメータ化（p/n）の関数として二重降下を示し、精度とキャリブレーションのトレードオフを示している。
• 特に証拠最大化（λevidence）を用いたEmpirical Bayes手法は、高い一般化誤差を示しても、すべての過パラメータ化レベルで良好にキャリブレートされている。
• ラプラス近似は、特に p/n が大きい高次元領域では一貫して過信しない予測をもたらす。
• 温度スケーリングは ERM ベースの推定器を効果的にキャリブレートでき、特に λerror を用いた ERM に対して最良の性能を示す。
• 真の事後分布信頼度（f⋆|f̂）の分散は、過パラメータ化に伴い増加し、特に ERM 推定器では不確実性推定の不安定性が顕著になる。
• 理論的分析により、深層ネットワークにおける過信は非線形性の副産物ではなく、ランダム特徴量モデルのような線形で高次元のモデルでも発生することが確認された。