[論文レビュー] The Ridgelet Prior: A Covariance Function Approach to Prior Specification for Bayesian Neural Networks

Takuo Matsubara, Chris J. Oates+1 more|arXiv (Cornell University)|Oct 16, 2020

Gaussian Processes and Bayesian Inference参考文献 53被引用数 6

ひとこと要約

本稿では、ベイジアンニューラルネットワーク（BNN）における事前分布指定のための新しい共分散関数に基づくアプローチ、すなわちリッジレット事前分布を導入する。この手法により、ネットワーク出力に望ましいガウス過程（GP）の挙動を直接組み込むことが可能になる。重みとバイアスの事前分布を、目的とするGP共分散関数を近似する形で構築することで、非漸近的誤差バインディングを達成し、普遍性を確立する。これにより、十分に滑らかな任意のGPをBNNが近似可能となり、実験的評価でも構造のない事前分布よりも優れた性能を示す。

ABSTRACT

Bayesian neural networks attempt to combine the strong predictive performance of neural networks with formal quantification of uncertainty associated with the predictive output in the Bayesian framework. However, it remains unclear how to endow the parameters of the network with a prior distribution that is meaningful when lifted into the output space of the network. A possible solution is proposed that enables the user to posit an appropriate Gaussian process covariance function for the task at hand. Our approach constructs a prior distribution for the parameters of the network, called a ridgelet prior, that approximates the posited Gaussian process in the output space of the network. In contrast to existing work on the connection between neural networks and Gaussian processes, our analysis is non-asymptotic, with finite sample-size error bounds provided. This establishes the universality property that a Bayesian neural network can approximate any Gaussian process whose covariance function is sufficiently regular. Our experimental assessment is limited to a proof-of-concept, where we demonstrate that the ridgelet prior can out-perform an unstructured prior on regression problems for which a suitable Gaussian process prior can be provided.

研究の動機と目的

• ベイジアンニューラルネットワーク（BNN）における意味のある事前分布指定の課題に取り組む。ここでは、パラメータに関するユーザーの信念を直接的に表現することが難しい。
• ユーザーが望ましい出力挙動に関するドメイン固有の知識を、目標とするガウス過程（GP）共分散関数を指定することで、BNNに組み込むことを可能にする。
• 出力空間において指定されたGPに近い挙動を示すBNNパラメータの事前分布を構築し、解釈可能性と一般化性能の向上を図る。
• BNNと目的とするGPとの間の近似誤差について、理論的裏付けに基づく非漸近的解析を提供する。
• 概念実証実験を通じて、適切なGP事前分布が利用可能な状況で、リッジレット事前分布が構造のない事前分布を上回ることを示す。

提案手法

• 本手法は、リッジレット変換を用いて、前向きニューラルネットワークの重みとバイアスの事前分布を構築し、ネットワーク出力を目的とするGP共分散関数に結びつける。
• BNNの共分散関数が目的とするGP共分散関数を近似するための事前ハイパーパrameter（σ_w, σ_b）の明示的公式を導出する。
• リッジレット変換の非漸近的解析を活用し、有限サンプルにおける近似誤差をバインドすることで、理論的普遍性を確立する。
• 事前分布は重みとバイアスのスケーリングに対して不変であるように設計され、再パrameterization下でもGP近似が保持される。
• 訓練サンプル数Nに応じて（σ_w, σ_b）を動的に調整し、近似品質と出力のばらつきのバランスを取る。
• ガウス関数、tanh、ReLUを含むさまざまな活性化関数をサポートし、収束速度は活性化関数の滑らかさと有界性に依存する。

実験結果

リサーチクエスチョン

• RQ1 有限サンプル誤差バインディングを伴い、ユーザーが指定したガウス過程（GP）共分散関数に近い出力共分散関数を持つベイジアンニューラルネットワークを構築できるか？
• RQ2 個々のパラメータの手動チューニングを必要とせずに、望ましい出力挙動に関する事前知識をBNNにどのように組み込むことができるか？
• RQ3 有限サンプルにおけるBNNのGP共分散関数近似において、リッジレット変換とその理論的関係は何か？
• RQ4 活性化関数の選択が、BNNの共分散が目的とするGPに収束する速度に与える影響は何か？
• RQ5 重みとバイアスの分散（σ_w, σ_b）をサンプルサイズNに応じて動的にスケーリングすることで、BNNの目的GPへの近似品質が向上するか？

主な発見

• リッジレット事前分布により、非漸近的誤差バインディングを伴い、任意の十分に滑らかなGP共分散関数をBNNが近似可能であり、普遍性が確立される。
• 小規模なサンプルサイズでは、（σ_w, σ_b）を増加させることで近似品質が向上するが、過剰な値は出力分散の増加を引き起こす。
• Nの増加に伴い（σ_w, σ_b）を動的に調整することで、近似精度と出力安定性のバランスが改善される。
• 滑らかで有界な活性化関数（例：ガウス関数、tanh）は、ReLUよりもBNNの共分散が目的とするGPに収束する速度が速い。
• 適切なGP事前分布が利用可能な回帰タスクにおいて、本手法は構造のない事前分布を上回る予測性能を示す。
• 複雑なGP共分散関数（例：周期的関数）の近似は依然として挑戦的であるが、動的（σ_w, σ_b）戦略により、こうしたモデルに対する性能が向上する。