[論文レビュー] A statistical theory of cold posteriors in deep neural networks

Laurence Aitchison|arXiv (Cornell University)|Aug 13, 2020

Adversarial Robustness in Machine Learning参考文献 22被引用数 7

ひとこと要約

本論文は、ベイジアンニューラルネットワークにおけるコールドポストリアルの有効性が、誤った事前分布によるものではなく、データセットのキュレーションに起因することを提案する。CIFAR-10のような標準ベンチマークは、全ラベルラーバーが合意した例のみを含むようにキュレーションされており、その結果、鋭いポストリアルを好む自然な尤度構造が生じる。主な結果として、CIFAR-10Hからの完全なラベル合意（例：50人のラベルラーバーによるラベル）を用いることで、コールドポストリアル効果が消失することが確認され、キュレーションに起因するラベルの確実性が、温度調整（tempering）の必要性を生じさせていることが示された。

ABSTRACT

To get Bayesian neural networks to perform comparably to standard neural networks it is usually necessary to artificially reduce uncertainty using a "tempered" or "cold" posterior. This is extremely concerning: if the prior is accurate, Bayes inference/decision theory is optimal, and any artificial changes to the posterior should harm performance. While this suggests that the prior may be at fault, here we argue that in fact, BNNs for image classification use the wrong likelihood. In particular, standard image benchmark datasets such as CIFAR-10 are carefully curated. We develop a generative model describing curation which gives a principled Bayesian account of cold posteriors, because the likelihood under this new generative model closely matches the tempered likelihoods used in past work.

研究の動機と目的

• ベイジアンニューラルネットワークが、正しいモデル仮定のもとで最適なベイジアン推論が成立するにもかかわらず、標準的なニューラルネットワークの性能に追いつくために温度調整（コールドポストリアル）を要するというパラドックスを解明すること。
• 温度調整の必要性が、事前分布の誤りに起因するのか、それとも尤度モデルの欠陥に起因するのかを調査すること。
• コールドポストリアルが実際の性能を向上させる理由を説明するデータセットキュレーションの生成モデルを開発すること。
• CIFAR-10Hデータセット（真の合意ラベルの代理として）を用いて、完全なラベル合意が得られた場合にコールドポストリアル効果が消えるかどうかをテストすること。

提案手法

• 全ラベルラーバーがクラスに合意した場合にのみデータポイントが含められるというデータセットキュレーションの生成モデルを提案し、その結果として鋭いポストリアルを自然に好む尤度構造が生じることを示す。
• このキュレーションプロセスにおける尤度を、温度調整された尤度と同等とみなすことで、正確なベイジアン推論のもとでコールドポストリアルが自然に生じることを説明する。
• CIFAR-10Hデータセット（各テスト画像を約50人の人間ラベルラーバーがラベル付け）を、完全なラベル合意の代理として用い、理論を検証する。
• 標準的なCIFAR-10（単一ラベル）とCIFAR-10H（複数ラベル合意）の両方で、温度調整ありとなしのベイジアンニューラルネットワークの性能を比較し、キュレーションの影響を隔離する。
• ラベルに制御されたノイズを導入し、ラベル合意の破壊がコールドポストリアル効果に与える影響を観察する。
• キュレーション下での尤度を、ラベル合意確率の積として定式化することで、ベイジアン更新において実質的に温度調整された尤度が得られることを示す。

実験結果

リサーチクエスチョン

• RQ1 なぜベイジアンニューラルネットワークは、標準的なニューラルネットワークと同等の性能を得るためには温度調整（コールドポストリアル）を要するのか？
• RQ2 温度調整の必要性は、事前分布の誤りに起因するのか、それとも尤度モデルの性質に起因するのか？
• RQ3 予測通り、ラベル合意が完全に得られた場合、コールドポストリアル効果は消えるのか？
• RQ4 ラベルノイズを導入するとコールドポストリアル効果にどのような影響が生じるのか？ これは根本的原因を示唆するか？
• RQ5 データセットキュレーションの生成モデルは、温度調整されたポストリアルが利用する統計的パターンを説明できるか？

主な発見

• CIFAR-10Hデータセット（50人のラベルラーバーによる完全なラベル合意）を用いることで、コールドポストリアル効果が著しく減少または完全に消失することが確認され、キュレーションが温度調整の必要性を生じさせているという仮説が支持された。
• ラベルに意図的にノイズを加えると、コールドポストリアル効果は弱まり、最終的には逆転し、性能が温度1付近でピークに達することが観察された。これは、ラベルの確実性が鍵であることを示唆している。
• 全ラベルラーバーが合意した例のみを含むキュレーションの生成モデルは、正確なベイジアン推論のもとで、自然に温度調整されたポストリアルを生じさせる尤度構造を生み出す。
• 理論は、温度調整が事前分布の誤りを是正するためのものではなく、高品質でキュレーションされたラベルによって生じる尤度構造を是正するためのものであると説明する。
• 結果から、コールドポストリアルは、推論や事前分布の欠陥の兆候ではなく、標準ベンチマークにおけるデータ生成プロセスの結果であると示唆される。
• 本研究は、今後のBNNにおいて、尤度モデルにキュレーション効果を組み込むべきであり、データセット設計が不確実性推定に顕著な影響を与える可能性があると示唆している。