[論文レビュー] Bayesian Neural Networks: Essentials

Daniel T. Chang|arXiv (Cornell University)|Jun 22, 2021

Adversarial Robustness in Machine Learning参考文献 13被引用数 5

ひとこと要約

この論文は、ベイジアン推論を用いて重みと活性化の不確実性をモデル化する確率的層を統合することで、不確実性を考慮したディープラーニングのフレームワークとしてベイジアンニューラルネットワーク（BNNs）を提示する。TensorFlow Probabilityを用いて、近似的推論を通じて標準的なディープネットワークを拡張する方法を示し、ハイブリッドアーキテクチャにより計算コストを低減しながら不確実性の定量化を維持することを実証する。

ABSTRACT

Bayesian neural networks utilize probabilistic layers that capture uncertainty over weights and activations, and are trained using Bayesian inference. Since these probabilistic layers are designed to be drop-in replacement of their deterministic counter parts, Bayesian neural networks provide a direct and natural way to extend conventional deep neural networks to support probabilistic deep learning. However, it is nontrivial to understand, design and train Bayesian neural networks due to their complexities. We discuss the essentials of Bayesian neural networks including duality (deep neural networks, probabilistic models), approximate Bayesian inference, Bayesian priors, Bayesian posteriors, and deep variational learning. We use TensorFlow Probability APIs and code examples for illustration. The main problem with Bayesian neural networks is that the architecture of deep neural networks makes it quite redundant, and costly, to account for uncertainty for a large number of successive layers. Hybrid Bayesian neural networks, which use few probabilistic layers judicially positioned in the networks, provide a practical solution.

研究の動機と目的

• ロバストな機械学習のためのディープニューラルネットワークへの不確実性定量化の統合という課題に取り組む。
• 決定的層の即時置き換えとしての確率的層を用いた、ベイジアンニューラルネットワークの設計および学習の実用的フレームワークを提供する。
• ディープネットワークのすべての層に完全なベイジアン推論を適用する際の計算非効率性を克服する。
• 特定の層にのみ確率的層を適用するハイブリッドBNNが、計算コストを低減しながらも不確実性推定を維持できるかを実証する。
• ディープラーニングと確率的モデリングの間のギャップを、ニューラルネットワークにおけるベイジアン事前分布、事後分布、および変分推論の明確な説明を通じて埋める。

提案手法

• 重みと活性化の分布を点推定の代わりに表現する確率的層を採用し、不確実性モデリングを可能にする。
• 変分推論による近似的ベイジアン推論を用いて、ネットワーク重み上の事後分布を最適化する。
• スケーラブルな推論を実現するため、TensorFlow ProbabilityのAPIを活用してベイジアンニューラルネットワークの実装および学習を実施する。
• インダクティブバイアスおよび事前知識を組み込むために、ネットワーク重みにベイジアン事前分布を適用する。
• 変分事後分布とモデル尤度を同時に最適化するための深層変分学習を実装する。
• 計算オーバーヘッドを低減するために、戦略的に配置された少数の確率的層を有するハイブリッドBNNを設計する。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてベイジアンニューラルネットワークを効果的に設計および学習させ、ディープラーニングモデルへの不確実性の統合を実現できるか？
• RQ2 信頼性の高い不確実性推定を可能にする要因としての、事前分布、事後分布、推論手法といった主要な構成要素は何か？
• RQ3 完全なベイジアン推論の計算コストは、ディープネットワークアーキテクチャ全体にわたってどのようにスケーリングされるのか？また、代替手段としての有効な選択肢は何か？
• RQ4 スパースな確率的層を有するハイブリッドベイジアンニューラルネットワークは、計算負荷を軽減しながらも、不確実性のキャリブレーションをどの程度維持できるか？
• RQ5 TensorFlow Probabilityのような現代のディープラーニングフレームワークを用いた、アクセス可能で効率的なBNN学習を実現する実用的戦略は何か？

主な発見

• 確率的層を用いたベイジアンニューラルネットワークは、重みと活性化の不確実性をモデル化することで、決定的ネットワークの即時置き換えとして実装可能である。
• 変分推論による近似的ベイジアン推論は、スケーラブルなBNN学習を可能にするとともに、不確実性の定量化を維持する。
• ベイジアン事前分布の使用により、事前知識の組み込みと正則化が可能となり、一般化性能の向上が達成される。
• 特定の層にのみ確率的層を適用するハイブリッドBNNは、計算コストを顕著に低減しながらも、効果的な不確実性推定を維持できる。
• TensorFlow Probabilityは、ベイジアンニューラルネットワークの実装および実験に実用的かつアクセスしやすいAPIを提供する。
• このフレームワークにより、標準的なディープラーニングパイプラインへの最小限のアーキテクチャ変更で、エンドツーエンドの不確実性を考慮したディープラーニングが可能になる。