[論文レビュー] Informative Gaussian Scale Mixture Priors for Bayesian Neural Networks.

Tianyu Cui, Aki S. Havulinna+2 more|arXiv (Cornell University)|Feb 24, 2020

Gaussian Processes and Bayesian Inference参考文献 16被引用数 4

ひとこと要約

この論文は、特徴のスパarsityと信号対雑音比（PVE）を比例分散寄与率（PVE）によって定量化することで、ドメイン知識の2つの主要なタイプを組み込んだ情報的ガウススケール混合事前分布を、ベイジアンニューラルネットワークに提案する。局所的スケールパラメータを共同でモデル化することで特徴の重要性を反映させ、PVEに応じてグローバルスケールをキャリブレーションすることで、ベンチマークおよび遺伝学データセットにおける予測精度が向上する。

ABSTRACT

Encoding domain knowledge into the prior over the high-dimensional weight space is challenging in Bayesian neural networks. Two types of domain knowledge are commonly available in scientific applications: 1. feature sparsity (number of relevant features); 2. signal-to-noise ratio, quantified, for instance, as the proportion of variance explained (PVE). We show both types of domain knowledge can be encoded into the widely used Gaussian scale mixture priors with Automatic Relevance Determination. Specifically, we propose a new joint prior over the local (i.e., feature-specific) scale parameters to encode the knowledge about feature sparsity, and an algorithm to determine the global scale parameter (shared by all features) according to the PVE. Empirically, we show that the proposed informative prior improves prediction accuracy on publicly available datasets and in a genetics application.

研究の動機と目的

• ベイジアンニューラルネットワークにおける高次元重み事前分布にドメイン知識を統合する課題に対処すること。
• ネットワーク重みの事前分布に特徴のスパarsity（関連する特徴の数）を組み込むこと。
• 信号対雑音比（PVEとして定量化）を事前構造に統合すること。
• PVEに基づいてグローバルスケールパラメータを体系的に設定する原理的かつ整合的な手法を開発すること。
• 提案された事前分布が多様なデータセットにおいて予測性能を向上させることを経験的に検証すること。

提案手法

• 特徴の重要性を反映させるために、局所的スケールパラメータの共同事前分布を提案し、ドメイン知識に基づいた構造を有する自動的関連性決定を可能にする。
• 望ましい分散寄与率（PVE）に基づいてグローバルスケールパラメータを設定するアルゴリズムを導入し、事前分散と信号強度を結びつける。
• ガウススケール混合事前分布と自動的関連性決定（ARD）を用いて、特徴固有のスケール学習を可能にしつつ、計算の実行可能性を維持する。
• 局所スケールが特徴の重要性を反映し、グローバルスケールが全体の信号強度を反映する階層ベイジアンフレームワークを採用する。
• PVEのターゲットに基づいて導出された閉形式近似を用いてグローバルスケールをキャリブレーションし、経験的信号対雑音比の期待値と整合性を保つ。
• 得られた事前分布をベイジアンニューラルネットワークの学習に適用し、標準的な指標を用いて予測性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ガウススケール混合事前分布を用いて、ベイジアンニューラルネットワーク重みの事前分布に特徴のスパarsityを効果的に組み込むことができるか？
• RQ2 分散寄与率（PVE）を体系的にベイジアンニューラルネットワーク事前分布のグローバルスケールパラメータに統合する方法は何か？
• RQ3 提案された情報的事前分布は、実世界の応用において標準的な非情報的事前分布と比較して、より高い予測精度を達成するか？
• RQ4 局所的およびグローバルスケールパラメータの共同モデリングは、ベイジアンニューラルネットワークにおける特徴選択と予測性能の両方を向上させることができるか？

主な発見

• 提案された情報的事前分布は、標準的な非情報的事前分布と比較して、公開のベンチマークデータセットにおける予測精度を向上させる。
• ドメイン知識に基づいた構造的で局所的スケールパラメータの共同事前分布により、特徴のスパarsityが効果的に組み込まれ、ドメイン知識を反映した自動的関連性決定が可能になる。
• PVEに基づくグローバルスケールパラメータの設定アルゴリズムにより、データ内の期待される信号強度とより良い整合性が保証される。
• 経験的結果は、実世界の遺伝学応用において一貫した性能向上を示し、科学的分野における本手法の実用性を検証している。
• 事前分布にドメイン知識を統合することで、より信頼性が高くキャリブレーションされたベイジアンニューラルネットワークの予測が実現される。