[論文レビュー] On Stein Variational Neural Network Ensembles

Francesco D'Angelo, Vincent Fortuin+1 more|arXiv (Cornell University)|Jun 20, 2021

Domain Adaptation and Few-Shot Learning参考文献 63被引用数 5

ひとこと要約

本稿では、重み空間および関数空間における汎用的およびハイブリッドカーネルを用いたスティーン変分ニューラルネットワークアンサンブルの統一的枠組みを提案する。これにより、多様性と不確実性推定が向上する。関数的カーネルと確率的更新を用いたSVG Dが、標準的なディープアンサンブルや重み空間SVG Dを凌駕し、真のベイジアン事後分布に近づくとともに、分布外検出とキャリブレーションの両方を向上させることを示している。

ABSTRACT

Ensembles of deep neural networks have achieved great success recently, but they do not offer a proper Bayesian justification. Moreover, while they allow for averaging of predictions over several hypotheses, they do not provide any guarantees for their diversity, leading to redundant solutions in function space. In contrast, particle-based inference methods, such as Stein variational gradient descent (SVGD), offer a Bayesian framework, but rely on the choice of a kernel to measure the similarity between ensemble members. In this work, we study different SVGD methods operating in the weight space, function space, and in a hybrid setting. We compare the SVGD approaches to other ensembling-based methods in terms of their theoretical properties and assess their empirical performance on synthetic and real-world tasks. We find that SVGD using functional and hybrid kernels can overcome the limitations of deep ensembles. It improves on functional diversity and uncertainty estimation and approaches the true Bayesian posterior more closely. Moreover, we show that using stochastic SVGD updates, as opposed to the standard deterministic ones, can further improve the performance.

研究の動機と目的

• 標準的なディープアンサンブルにおけるベイジアン的根拠の欠如と、劣った関数的多様性の問題を解決すること。
• スティーン変分勾配降下法（SVGD）を用いた粒子ベースの推論を活用し、不確実性推定と分布外検出を向上させること。
• ディープアンサンブルと標準SVG Dを特別なケースとして含む統一的枠組みを構築すること。
• カーネル選択（重み空間、関数空間、ハイブリッド）および更新タイプ（決定的、確率的）がアンサンブルの多様性と事後分布近似に与える影響を調査すること。
• 既存の関数的SVG D手法に課題があるのを補う新規のSVG D変種、fw-SVGDおよびh-SVGDを提案すること。

提案手法

• 重み空間、関数空間、およびハイブリッドカーネルに基づくSVG Dを統合した、スティーン変分ニューラルネットワークアンサンブルの一般化された枠組みを提案する。
• 先行の関数的SVG D手法に見られる欠陥を是正するfw-SVGDを導入し、適切な関数的多様性を保証する。
• 重み空間と関数空間の両方でSVG D更新を同時に適用する組み合わせカーネルを用いたハイブリッド手法h-SVGDを開発する。
• 勾配更新にノイズを注入することで確率的SVG D更新を採用し、決定的対比において多様性を向上させる。
• 関数空間におけるスティーン不一致のミニバッチ近似を用いて、大規模なモデルおよびデータセットへのスケーリングを実現する。
• 収束性とキャリブレーションの向上を図るために、SVG D枠組み内でのアニーリングスケジュールと事後分布温度調整を適用する。

実験結果

リサーチクエスチョン

• RQ1 重み空間、関数空間、およびハイブリッドの各カーネル選択が、ニューラルネットワークアンサンブルにおける関数的多様性と不確実性推定にどのように影響するか？
• RQ2 確率的SVG D更新は、ベイジアンニューラルネットワーク推論において、決定的SVG Dに比べて多様性と性能を向上させることができるか？
• RQ3 提案されたfw-SVGD手法は、既存の関数的SVG Dアプローチと比較して、関数的多様性と事後分布近似の両面で優れているか？
• RQ4 関数的カーネルを用いたSVG Dベースのアンサンブルは、ゴールドスタンダードであるハミルトニアンモンテカルロ（HMC）事後分布にどの程度近づくか？
• RQ5 これらのSVG D変種は、標準的なディープアンサンブルやpSGLDと比較して、分布外検出とキャリブレーションの両面でどのように性能を発揮するか？

主な発見

• h-SVGD-sは、β=1のCIFAR-100データセットで89.0% ± 0.2%の最高精度と、AUROC 0.890という優れた分布外検出性能を達成し、ディープアンサンブルや標準SVG Dを上回った。
• h-SVGD-lおよびh-SVGD-sは、合成回帰および分類タスクにおいて優れた関数的多様性と不確実性推定を示し、HMC事後分布を密に近似した。
• 確率的SVG D更新（h-SVGD-s）は、精度がわずかに低い場合でも、決定的対比に比べて分布外検出と関数的多様性が向上した。
• fw-SVGDは、先行の関数的SVG Dにおける欠陥を是正し、f-SVGDに比べてより優れた関数的多様性と不確実性キャリブレーションを実現した。
• β=1のCIFAR-100において、h-SVGD-lは86.862% ± 0.056の精度と2.454 ± 0.016のNLLを達成し、ディープアンサンブル（85.434% ± 0.067の精度）とw-SVGD（86.720% ± 0.073の精度）を上回った。
• pSGLDは最も良好なキャリブレーション（ECE 0.065）を達成したが、h-SVGD-sは分布外検出および関数的多様性において同等またはそれを上回り、キャリブレーションと不確実性のロバストネスのトレードオフを示した。