[論文レビュー] Understanding Variational Inference in Function-Space

David R. Burt, Sebastian W. Ober+2 more|arXiv (Cornell University)|Nov 18, 2020

Gaussian Processes and Bayesian Inference参考文献 16被引用数 9

ひとこと要約

本稿は、関数空間における変分推論にKullback-Leibler（KL）ダイバージェンスを使用する際の根本的な問題を特定し、非退化なガウス過程事前分布とパラメトリックな変分族を用いる場合、目的関数が不適切に定義される可能性があることを示している。また、予測性能とは独立して近似の質を正確に評価できるようにするため、ベイジアン線形回帰を原理的かつ明確なベンチマークとして提案している。

ABSTRACT

Recent work has attempted to directly approximate the `function-space' or predictive posterior distribution of Bayesian models, without approximating the posterior distribution over the parameters. This is appealing in e.g. Bayesian neural networks, where we only need the former, and the latter is hard to represent. In this work, we highlight some advantages and limitations of employing the Kullback-Leibler divergence in this setting. For example, we show that minimizing the KL divergence between a wide class of parametric distributions and the posterior induced by a (non-degenerate) Gaussian process prior leads to an ill-defined objective function. Then, we propose (featurized) Bayesian linear regression as a benchmark for `function-space' inference methods that directly measures approximation quality. We apply this methodology to assess aspects of the objective function and inference scheme considered in Sun, Zhang, Shi, and Grosse (2018), emphasizing the quality of approximation to Bayesian inference as opposed to predictive performance.

研究の動機と目的

• 関数空間における変分推論におけるKLダイバージェンス目的関数の妥当性と適切な定義の有無を調査すること。
• 非退化なガウス過程事前分布とパラメトリックな変分族を用いる場合、KLダイバージェンス目的関数が不適切に定義される条件を特定すること。
• 予測性能とは独立して、関数的変分推論手法の近似の質を評価できるベンチマークを提案すること。
• Sun et al. (2018) らの既存手法における近似の影響を、推論の正確さと予測性能を分離することで評価すること。
• 将来的な関数的変分推論の改善を評価するための原理的基盤を提供すること。

提案手法

• 著者らは、非退化なガウス過程事前分布とパラメトリックな変分族の間のKLダイバージェンスを関数空間で分析し、変分族が真の事後分布の台をカバーしない場合、目的関数が不適切に定義され得ることを証明している。
• 彼らは、ReLU活性化関数を用いた1層のベイジアンニューラルネットワークに対しても分析を拡張し、事前分布と事後分布の幅が異なる場合に、目的関数が不適切に定義されることを示している。
• 閉形式で正確な事後分布と関数空間におけるKLダイバージェンスが計算可能なため、ベイジアン線形回帰（BLR）をベンチマークとして提案している。
• このベンチマークにより、予測性能とは独立して、変分事後分布と真の事後分布を直接比較することで、近似の質を直接評価できる。
• 彼らはこのベンチマークを用いてSun et al. (2018) の手法を分析し、目的関数の近似が推論の質に与える影響を分離して評価した。
• 数値的安定性を確保するため、誘導点の集合を用いて特徴マップを定義し、勾配ベースの最適化手法（Adam、L-BFGS）を用いて変分パラメータを最適化している。

実験結果

リサーチクエスチョン

• RQ1 非退化なガウス過程事前分布とパラメトリックな変分族を用いる関数空間における変分推論において、KLダイバージェンス目的関数が不適切に定義される条件は何か？
• RQ2 このような状況下で、なぜKLダイバージェンス目的関数が意味のある最適化のターゲットとならなくなるのか？
• RQ3 予測性能とは独立して、関数的変分推論の近似の質を評価できるベンチマークを構築できるか？
• RQ4 Sun et al. (2018) のような手法における目的関数の近似が、事後分布の推論精度にどのように影響を与えるか？
• RQ5 ベイジアン線形回帰は、関数的変分推論手法の評価にどの程度信頼できるベンチマークとして機能できるか？

主な発見

• 非退化なガウス過程事前分布とパラメトリックな変分族を用いる関数空間における変分推論において、KLダイバージェンス目的関数は、変分族が真の事後分布の台をカバーしない場合に不適切に定義される。
• この不適切な定義は、KLダイバージェンスにおけるRadon-Nikodym微分が、変分測度が事後測度に関して絶対連続でない場合に定義されないことに起因する。
• 事前分布と事後分布の幅が異なる場合、ReLU活性化関数を用いた1層のベイジアンニューラルネットワークにおいても、この問題は継続し、KLダイバージェンスが和が取れない（非summable）状態になる。
• ベイジアン線形回帰は、関数的変分推論のための有効なベンチマークを提供する。なぜなら、正確な事後分布と関数空間におけるKLダイバージェンスが閉形式で計算可能だからである。
• このベンチマークを用いて、著者らは、予測性能が高くても、変分事後分布の近似が悪い場合があることを示し、推論の質を別個に評価する必要性を強調している。
• 本研究は、Sun et al. (2018) らの手法における目的関数の近似が、予測性能が保たれても、事後分布の近似品質を著しく低下させることを明らかにした。