[論文レビュー] Disentangling the Roles of Curation, Data-Augmentation and the Prior in the Cold Posterior Effect

Lorenzo Noci, Kevin A. Roth+3 more|arXiv (Cornell University)|Jun 11, 2021

Machine Learning in Materials Science被引用数 5

ひとこと要約

この論文は、データのキュレーション、データオーグメンテーション、事前分布の各要因がベイジアンニューラルネットワークにおけるコールドポストリアル効果（CPE）に与える影響を分離することで、CPEの原因を解明している。CPEは主にデータが少ない状況における事前分布の影響に起因しており、データキュレーションやオーグメンテーションそのものによるものではない。また、CPEは単純で明確に定義された合成設定ですら発生しうることを示しており、原因が一元的であるという仮説に疑問を呈している。

ABSTRACT

The "cold posterior effect" (CPE) in Bayesian deep learning describes the uncomforting observation that the predictive performance of Bayesian neural networks can be significantly improved if the Bayes posterior is artificially sharpened using a temperature parameter T<1. The CPE is problematic in theory and practice and since the effect was identified many researchers have proposed hypotheses to explain the phenomenon. However, despite this intensive research effort the effect remains poorly understood. In this work we provide novel and nuanced evidence relevant to existing explanations for the cold posterior effect, disentangling three hypotheses: 1. The dataset curation hypothesis of Aitchison (2020): we show empirically that the CPE does not arise in a real curated data set but can be produced in a controlled experiment with varying curation strength. 2. The data augmentation hypothesis of Izmailov et al. (2021) and Fortuin et al. (2021): we show empirically that data augmentation is sufficient but not necessary for the CPE to be present. 3. The bad prior hypothesis of Wenzel et al. (2020): we use a simple experiment evaluating the relative importance of the prior and the likelihood, strongly linking the CPE to the prior. Our results demonstrate how the CPE can arise in isolation from synthetic curation, data augmentation, and bad priors. Cold posteriors observed "in the wild" are therefore unlikely to arise from a single simple cause; as a result, we do not expect a simple "fix" for cold posteriors.

研究の動機と目的

• ベイジアンニューラルネットワークにおけるコールドポストリアル効果（CPE）が、データキュレーション、データオーグメンテーション、あるいは事前分布のいずれに起因するかを調査すること。
• 高次元モデルでデータが限られている場合、CPEは不適切な事前分布の指定に起因するという仮説を検証すること。
• CPEが発生するためには、データオーグメンテーションまたはデータセットのキュレーションが必要かどうかを特定すること。
• 合成実験においてキュレーションとオーグメンテーションを制御することで、事前分布の寄与を分離すること。
• 真のモデルが線形で、事前分布が適切に選ばれた明確に定義された合成設定でもCPEが発生するかどうかを評価すること。

提案手法

• CPEに与える影響を分離するために、さまざまなレベルのキュレーションを施した合成データセットを用いた制御された実験を実施した。
• データオーグメンテーションの必要性と十分性を検証するために、制御された環境でオーグメンテーションを適用した。
• 温度スケーリングを用いた全バッチ・マルコフ連鎖モンテカルロ（MCMC）を用い、温度 $T < 1$ の場合に事後分布からサンプリングした。
• CPE比（CPER）を用いてCPEを評価した。CPERは、$T=1$ のときのテスト交差エントロピーと $T<1$ のときの比として定義され、性能向上を定量化した。
• 2次元のトピックデータセットを用いた1層のMLPにおける意思決定境界を分析することで、温度スケーリングがモデルの複雑さに与える影響を可視化した。
• さまざまなデータセットサイズ $n$ における性能を比較することで、データが少ない状況における事前分布と尤度の相対的影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 データオーグメンテーションを無効化した場合、SVHN や CIFAR-10 といった実際のキュレーション済みデータセットでもコールドポストリアル効果（CPE）が発生するか？
• RQ2 実世界のラベル付けやデータオーグメンテーションとは独立して、合成データのキュレーションのみでCPEを誘発できるか？
• RQ3 CPEが発生するためにはデータオーグメンテーションが必要か、それともオーグメンテーションそのものが十分に効果をもたらすか？
• RQ4 特にデータが少ない状況において、事前分布がCPEにどの程度寄与しているか？
• RQ5 真のモデルが線形で、事前分布が適切に選ばれた明確に定義された合成設定でもCPEが発生するか？

主な発見

• データオーグメンテーションを無効化した場合、SVHN や CIFAR-10 といった実際のキュレーション済みデータセットではCPEは発生せず、キュレーション仮説が主因であるという主張に反する。
• 制御された合成キュレーション実験においてCPEを誘発できることから、キュレーションそのものがCPEを引き起こすには十分であるが、必須ではないことが示された。
• データオーグメンテーションはCPEを誘発するのに十分であるが、必須ではない。なぜなら、事前分布が不適切に指定されている場合、オーグメンテーションがなくてもCPEは発生するからである。
• データセットサイズが小さくなるほどCPEが強くなることから、データが少ない状況では事前分布の影響が増大することが示された。
• 温度調整付きMCMC（$T<1$）は、標準的なベイズ事後分布（$T=1$）よりも単純な意思決定境界を誘発しており、冷たい事後分布が単純な関数を好む傾向があることを示唆している。
• 真の関数が線形分離可能で、事前分布が適切に選ばれた合成トイデータセットでもCPEが発生することを示した。これにより、CPEはモデルの不適合や不適切な事前分布の選択によるものではないことが明らかになった。