[論文レビュー] Cold Posteriors and Aleatoric Uncertainty

Ben Adlam, Jasper Snoek+1 more|arXiv (Cornell University)|Jul 31, 2020

Gaussian Processes and Bayesian Inference参考文献 18被引用数 11

ひとこと要約

この論文は、MNIST や CIFAR-10 のような高品質なデータセットにおいて、標準的な事前分布が過剰なアレアトリック不確実性を引き起こすことで、ベイジアンニューラルネットワークにおけるコールドポストリアル効果を説明している。事後分布の温度を下げる（温度調整を行う）ことで、この過剰な不確実性が軽減され、一般化性能が向上する。これは正確なベイズ推論を行わずに、より適切な事前分布を模倣する効果を持つ。

ABSTRACT

Recent work has observed that one can outperform exact inference in Bayesian neural networks by tuning the "temperature" of the posterior on a validation set (the "cold posterior" effect). To help interpret this phenomenon, we argue that commonly used priors in Bayesian neural networks can significantly overestimate the aleatoric uncertainty in the labels on many classification datasets. This problem is particularly pronounced in academic benchmarks like MNIST or CIFAR, for which the quality of the labels is high. For the special case of Gaussian process regression, any positive temperature corresponds to a valid posterior under a modified prior, and tuning this temperature is directly analogous to empirical Bayes. On classification tasks, there is no direct equivalence between modifying the prior and tuning the temperature, however reducing the temperature can lead to models which better reflect our belief that one gains little information by relabeling existing examples in the training set. Therefore although cold posteriors do not always correspond to an exact inference procedure, we believe they may often better reflect our true prior beliefs.

研究の動機と目的

• ベイジアンニューラルネットワークにおけるコールドポストリアル（T < 1 の温度調整付き推論）が、正確なベイズ推論を上回る理由を調査すること。
• 一般的に用いられるベイジアンニューラルネットワークの事前分布が、標準ベンチマークデータセット上でアレアトリック不確実性を過大評価しているかどうかを分析すること。
• 特にガウス過程モデルの文脈において、事後分布の温度調整と事前分布の指定との関係を調査すること。
• コールドポストリアル効果が、ラベルの不確実性を過大に評価する誤った事前分布を是正するものとして解釈できるかどうかを評価すること。
• 温度調整がエピステミック不確実性とアレアトリック不確実性の両方を低減し、事後分布の信念を現実のデータ特性に近づけることを実証すること。

提案手法

• 解析が容易なモデルとしてガウス過程分類を用い、潜在関数 f(x) ~ N(0, cI) に事前分布を設定する。
• 事後分布に温度 T を導入し、p(θ|X,f) ∝ exp(-U(θ)/T) と定式化する。T=1 は標準的なベイズ推論、T<1 は「コールド」事後分布を表す。
• T<1 での温度調整は、カーネル K(⋅,⋅) → TK(⋅,⋅) のスケーリングと、アレアトリック不確実性 σ²_ε → Tσ²_ε の減少に数学的に同等であることを示す。
• CIFAR-10 における GP 分類を用いた実験で、T<1 の場合にログリクアリティと精度が向上することを実証する。
• RBF カーネルと制御されたラベルノイズを用いた合成実験により、アレアトリック不確実性推定の影響が最適温度に与える影響を分離する。
• 正しい、過剰に評価された、および不足評価されたアレアトリック不確実性の下で、異なる温度設定における負の対数尤度を比較する。

実験結果

リサーチクエスチョン

• RQ1 標準的なベイズの原則に反するにもかかわらず、なぜ T < 1 の事後分布の温度調整がベイジアンニューラルネットワークの性能を向上させるのか？
• RQ2 MNIST や CIFAR-10 のような高品質なデータセットにおいて、ベイジアンニューラルネットワークの標準的な事前分布が、どの程度アレアトリック不確実性を過大に評価しているのか？
• RQ3 コールドポストリアル効果は、ラベルの不確実性を過大に評価する誤った事前分布を是正するものとして解釈できるか？
• RQ4 ガウス過程モデルにおいて、温度調整はエピステミック不確実性とアレアトリック不確実性のバランスにどのように影響するか？
• RQ5 推論の最適温度は、モデルのアレアトリック不確実性推定の正確さに依存するか？

主な発見

• MNIST や CIFAR-10 のような高品質なデータセットにおいて、ベイジアンニューラルネットワークの標準的な事前分布は、データに実際に存在するものよりも顕著に高いアレアトリック不確実性を誘発する。
• T < 1 での事後分布の温度調整により、そのインプリケートされたアレアトリック不確実性が低下し、データに内在する真のラベル不確実性に近づく。
• ガウス過程分類において、任意の正の温度 T は、修正された事前分布の下で有効な事後分布に対応するため、温度調整は経験的ベイズに類似している。
• 回帰において、T < 1 での温度調整は、カーネルとアレアトリックノイズ分散 σ²_ε の両方をスケーリングすることに同等であり、効果的にラベル不確実性を低減する。
• アレアトリック不確実性が過剰に評価されている場合、負の対数尤度は T < 1 で最小化される。一方、不確実性が不足評価されている場合、最小化は T > 1 で達成される。
• 事前分布がラベルの曖昧さを過大に評価する場合、コールドポストリアル効果が顕著に現れ、これは推論の質が悪いのではなく、事前分布の不適切な指定を是正するものであると示唆する。