[論文レビュー] Do Bayesian Neural Networks Need To Be Fully Stochastic?

Mrinank Sharma, Sebastian Farquhar+2 more|arXiv (Cornell University)|Nov 11, 2022

Gaussian Processes and Bayesian Inference被引用数 7

ひとこと要約

この論文は、ベイジアンニューラルネットワーク（BNNs）が表現的な不確実性評価を達成するために、すべてのパラメータに完全な確率的性質（stochasticity）を必要とするという従来の仮定に挑戦する。理論的に、わずか $ n $ 個の確率的バイアスを備えた部分的確率的ネットワークが、普遍的な確率的予測子であることを証明し、4つの推論手法と8つのデータセットを用いた実験的検証において、完全な確率的BNNと同等またはそれを上回る予測性能を示した。さらに、メモリ使用量と学習コストを削減した。

ABSTRACT

We investigate the benefit of treating all the parameters in a Bayesian neural network stochastically and find compelling theoretical and empirical evidence that this standard construction may be unnecessary. To this end, we prove that expressive predictive distributions require only small amounts of stochasticity. In particular, partially stochastic networks with only $n$ stochastic biases are universal probabilistic predictors for $n$-dimensional predictive problems. In empirical investigations, we find no systematic benefit of full stochasticity across four different inference modalities and eight datasets; partially stochastic networks can match and sometimes even outperform fully stochastic networks, despite their reduced memory costs.

研究の動機と目的

• ベイジアンニューラルネットワークにおける完全な確率的性質が、表現的かつ正確な不確実性評価のために真に必要かどうかを調査すること。
• 完全な確率的BNNが部分的確率的代替手法よりも原理的かつ効果的であるという一般的な仮定に挑戦すること。
• 部分的確率的ネットワークが、多様な推論手法とデータセットにおいて、完全な確率的BNNと同等または優れた予測性能を達成できるかどうかを評価すること。
• 部分的確率的BNNが完全な確率的性質の代替手段として、実用的で効率的かつ同等に原理的であるという理論的・実験的基盤を確立すること。

提案手法

• 部分的確率的ネットワークが、わずか $ n $ 個の確率的バイアスを備えることで、任意の連続的条件付き分布を任意に良く近似できる普遍的条件付き分布近似器（UCDA）であることを理論的に証明すること。
• 理論的分析を用いて、有限幅かつ分散が有界な完全な確率的層が、入力情報の劣化を引き起こし、表現力の低下を招く可能性があることを示すこと。
• ハミルトニアンモンテカルロ、SWAG、Flipoutを用いた変分推論、および平均場変分推論の4つの推論モダリティを用い、8つのデータセットで予測性能を比較すること。
• 特定の層やバイアスのみを確率的とし、他のパラメータは固定または決定論的に最適化する部分的確率的ネットワークを学習・評価すること。
• 負の対数尤度（NLL）、期待自己校正誤差（ECE）、および正答率を評価指標とし、複数のランダムシードを用いて堅牢性を確保すること。
• 例えば、最初の層のみ、最後の層のみ、ボトルネック層のみなどの、異なる確率的構成を体系的に変化させ、高性能な部分的確率的設定を同定すること。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンニューラルネットワークにおける完全な確率的性質は、表現的な予測分布を達成するために必要か？
• RQ2 部分的確率的BNNは、条件付き分布の普遍的近似を達成できるか？
• RQ3 完全な確率的性質は、多様な推論手法とデータセットにおいて、一貫して予測性能を向上させるか？
• RQ4 部分的確率的ネットワークは、NLL、自己校正性、および効率性の観点で、完全な確率的ネットワークを上回ることができるか？
• RQ5 計算コストを最小限に抑えつつ性能を最大化する最適な確率的パラメータの設定は何か？

主な発見

• わずか $ n $ 個の確率的バイアスを備えた部分的確率的ベイジアンニューラルネットワークは、普遍的条件付き分布近似器である。これは、表現力の観点から完全な確率的性質が必須でないことを証明する。
• 実験的評価において、部分的確率的ネットワークは4つの推論モダリティと8つのデータセット（CIFAR-10およびCIFAR-10-Cを含む）において、完全な確率的ネットワークと同等またはそれを上回る性能を示した。
• 平均して、部分的確率的ネットワークは完全な確率的ネットワークよりも低い負の対数尤度（NLL）と期待自己校正誤差（ECE）を達成しており、不確実性の校正性が優れていることを示している。
• 最も優れた部分的確率的構成は推論モダリティによって異なり、最適設計は使用する推論手法に依存することが示された。
• メモリ使用量の削減と高速化（例：最初の層のみに確率的性質を適用した場合、約7倍速）にもかかわらず、部分的確率的ネットワークは予測性能を維持または向上させた。
• ハミルトニアンモンテカルロやSWAGといった最先端の推論手法でさえ、完全な確率的性質に一貫した利点が見られず、部分的確率的バージョンがしばしば優れたまたは同等の結果をもたらした。