[論文レビュー] Optimally-Weighted Herding is Bayesian Quadrature

Ferenc Huszár, David Duvenaud|arXiv (Cornell University)|Apr 7, 2012

Gaussian Processes and Bayesian Inference被引用数 12

ひとこと要約

この論文は、カーネルハーディングがベイジアン・クアドラチャーチャー（BQ）と同じ目的関数を最小化することを確立し、BQが重み最適化されたハーディングであることを明らかにする。BQから得られる重みを一様重みの代わりに使用することで、順次ベイジアン・クアドラチャーチャー（SBQ）は、1/N より速い収束を達成し、標準的なハーディングおよびi.i.d.サンプリングを上回る積分推定の精度を実現する。

ABSTRACT

Herding and kernel herding are deterministic methods of choosing samples which summarise a probability distribution. A related task is choosing samples for estimating integrals using Bayesian quadrature. We show that the criterion minimised when selecting samples in kernel herding is equivalent to the posterior variance in Bayesian quadrature. We then show that sequential Bayesian quadrature can be viewed as a weighted version of kernel herding which achieves performance superior to any other weighted herding method. We demonstrate empirically a rate of convergence faster than O(1/N). Our results also imply an upper bound on the empirical error of the Bayesian quadrature estimate.

研究の動機と目的

• 決定的積分推定の文脈において、カーネルハーディングとベイジアン・クアドラチャーチャー（BQ）の理論的関係を確立すること。
• ガウス過程事前分布下で、カーネルハーディングにおける最大平均差（MMD）基準が、BQにおける事後分散に等価であることを示すこと。
• RKHS内関数のミニマックス意味で最適な性能を達成するBQ重みを示し、BQが一様重み付きハーディングを上回ることを示すこと。
• BQ重みに基づくグリーディー採番法である順次ベイジアン・クアドラチャーチャー（SBQ）を考案・分析し、その優れた収束率を示すこと。
• SBQが標準的ハーディングおよびi.i.d.サンプリングよりも速い収束を示す理論的および実験的証拠を提供すること。

提案手法

• 論文は、ガウス過程事前分布下で、カーネルハーディングで用いられるMMD基準が、ベイジアン・クアドラチャーチャーにおける事後分散と数学的に等価であることを証明する。
• ベイジアン・クアドラチャーチャーを、GPモデルの事後平均から導かれる重みを有するハーディングの一種として定式化し、RKHS上でのミニマックス意味で最適な性能を保証する。
• SBQで最小化される目的関数が、おおよそサブモジュラーであることを示し、グリーディー前進選択アルゴリズムに理論的保証を可能にする。
• BQ重みを用いたMMDの最小化により、逐次的にサンプルを選択するグリーディーなアルゴリズムとして、順次ベイジアン・クアドラチャーチャー（SBQ）を導入する。
• 新しいサンプルを追加する際、BQ重みを効率的に更新するためのウッドベリーの恒等式を用い、N個のサンプルに対してO(N³)の複雑度を維持する。
• i.i.d.サンプリング、標準的ハーディング、およびSBQの間で実験的比較を行い、ガウス過程事前分布から抽出された関数の積分における収束速度を測定する。

実験結果

リサーチクエスチョン

• RQ1 カーネルハーディングで用いられるMMD基準は、ガウス過程事前分布下でベイジアン・クアドラチャーチャーにおける事後分散に等価か？
• RQ2 ベイジアン・クアドラチャーチャーは、カーネルハーディングの重み付き形式として解釈可能であり、その重みはミニマックス意味で最適か？
• RQ3 BQ重みをハーディングに適用することで、一様重みのハーディングよりも速い収束が達成できるか？
• RQ4 SBQの目的関数が、おおよそサブモジュラーであることを示せるか？これにより、グリーディー選択の性能保証が可能か？
• RQ5 SBQの実験的収束速度は、標準的ハーディングおよびi.i.d.サンプリングと比較してどの程度か？

主な発見

• カーネルハーディングで最小化されるMMD基準は、ガウス過程事前分布下でベイジアン・クアドラチャーチャーにおける事後分散と数学的に等価である。
• ベイジアン・クアドラチャーチャーは、BQ重みがRKHS上でのミニマックス意味で最適である重み付きハーディングの一種として等価である。
• BQ重みを用いた順次ベイジアン・クアドラチャーチャー（SBQ）は、1/N より速い収束率を達成し、標準的ハーディングおよびi.i.d.サンプリングを上回る。
• SBQで最小化される目的関数は、おおよそサブモジュラーであるため、グリーディー前進選択の性能に理論的根拠が与えられる。
• 実験的結果では、SBQがBQ重みを用いることで、少ないサンプル数でも一様重み付きハーディングよりも低い実験的誤差を達成する。
• 論文は、MMDの等価性に基づいて、ベイジアン・クアドラチャーチャー推定の実験的誤差に対する上界を導出する。