[論文レビュー] Towards Expressive Priors for Bayesian Neural Networks: Poisson Process Radial Basis Function Networks

Beau Coker, Melanie F. Pradier+1 more|arXiv (Cornell University)|Dec 12, 2019

Gaussian Processes and Bayesian Inference参考文献 38被引用数 5

ひとこと要約

この論文は、RBF中心のポアソン過程を用いることで、振幅分散と入力依存長尺度を分離して指定できるベイジアンニューラルネットワーク事前分布であるPoisson Process Radial Basis Function Networks (PoRB-NETs)を導入する。この手法により、一貫性のある関数推定が可能となり、ネットワーク容量と不確実性がデータに応じて適応的に調整され、実データおよび合成データにおいて標準的BNNを上回り、GPの性能に匹敵する。関数の解釈可能性も向上する。

ABSTRACT

While Bayesian neural networks have many appealing characteristics, current priors do not easily allow users to specify basic properties such as expected lengthscale or amplitude variance. In this work, we introduce Poisson Process Radial Basis Function Networks, a novel prior that is able to encode amplitude stationarity and input-dependent lengthscale. We prove that our novel formulation allows for a decoupled specification of these properties, and that the estimated regression function is consistent as the number of observations tends to infinity. We demonstrate its behavior on synthetic and real examples.

研究の動機と目的

• 標準的ベイジアンニューラルネットワーク（BNN）事前分布に機能的解釈可能性が欠如しており、定常性、長尺度、信号分散といった基本的特性を反映できないという問題に対処すること。
• ガウス過程（GPs）に類似した、具体的に振幅の定常性および入力依存長尺度といった機能的特性を直接エンコードできるBNN事前分布の開発。
• 振幅分散と長尺度の独立した指定を可能にし、相互に干渉しないようにすること。
• 理論的根拠に基づき、スケーラブルな推論手法を提供し、事前分布の期待が誤って指定された場合でも、データに応じてネットワーク容量と不確実性を適応的に調整できること。
• 実験的に、モデルが非定常パターンを捉え、データギャップにおける不確実性を適応的に調整できることを検証すること。これは、GPやドロップアウトベースのベースラインを上回るか同等の性能を示す。

提案手法

• ベースモデルとして、入力空間上にポアソン過程事前分布から中心を抽出する単一層の径路基底関数ネットワーク（RBFN）を用いる。
• ポアソン過程の強度関数を非定常的かつ入力依存的な関数としてモデル化し、柔軟な長尺度制御を可能にする。
• RBFカーネル内の別個のスケールパラメータにより振幅分散を独立して制御し、長尺度とは分離させる。
• 階層的事前分布構造を採用し、ポアソン過程の強度自体をガウス過程（GP）としてモデル化することで、データから非定常的長尺度を学習可能にする。
• 事後推論にはマルコフ連鎖モンテカルロ（MCMC）を用い、隠れユニット数の推定に逆転ジャンプMCMCを含む。
• 本手法は一貫性を保証する：観測数が増加するにつれ、推定された回帰関数は真の関数に収束する。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程に類似した、振幅の定常性および入力依存長尺度といった機能的特性を直接エンコードできるベイジアンニューラルネットワーク事前分布を設計できるか？
• RQ2 RBF中心にポアソン過程を用いることで、振幅分散と長尺度の分離制御が可能となり、単純なポアソンベースの中心配置で見られる結合を回避できるか？
• RQ3 データの複雑さに応じて、ネットワークの有効な容量（隠れユニット数）を適応的に調整できるか、特に事前の期待が誤っている場合でも同様か？
• RQ4 データギャップにおける不確実性分布はどのように振る舞い、強度チューニングにより外挿不確実性を明示的に制御できるか？
• RQ5 PoRB-NETは、入力依存長尺度を持つGP（L-GP）やドロップアウトベースの不確実性推定と同等の性能を達成できるか？

主な発見

• 観測数が増加するにつれ、PoRB-NETsは一貫した関数推定を達成し、回帰関数の理論的一貫性を裏付ける。
• モデルは振幅分散と長尺度を成功裏に分離し、パラメータ空間における結合が見られない標準的BNNとは異なり、独立して指定可能である。
• 合成実験では、データの複雑さが増加するにつれ、事前の期待が3ユニットであったのに対し、PoRB-NETsは5〜7ユニットに適応的に隠れユニット数を調整し、固定容量の標準的BNNを上回る性能を示した。
• データギャップでは、ポアソン過程の強度を増加させることで長尺度が短縮され、不確実性が上昇する。これにより、外挿不確 Unsure が明示的に制御可能である。
• 実データ（モーターショプ、ファイナンス、MIMIC）において、PoRB-NETsは非定常パターンを捉え、入力依存長尺度を持つGP（L-GP）と類似した不確実性推定を生成し、ドロップアウトベースの手法を上回った。
• PoRB-NETsで推定された強度関数は、関数変化が急激な領域（例：モーターショプデータの中間部、MIMICのスパイク部）で高くなることが示され、局所的長尺度変動の有効な学習を示している。