[論文レビュー] Frank-Wolfe Bayesian Quadrature: Probabilistic Integration with Theoretical Guarantees

François‐Xavier Briol, Chris J. Oates+2 more|arXiv (Cornell University)|Jun 8, 2015

Gaussian Processes and Bayesian Inference参考文献 29被引用数 43

ひとこと要約

本稿では、フランク＝ウォルフ最適化とベイジアン・クアドラチャーを組み合わせることで、指数的収束速度と超指数的後方分布収縮を達成する、新しい確率的積分法であるフランク＝ウォルフ・ベイジアン・クアドラチャー（FWBQ）を提案する。本研究は、確率的積分器に対する理論的保証を初めて提示し、複雑な計算パイプラインにおける数値誤差の不確実性評価を維持したまま、収束の厳密な証明を示している。

ABSTRACT

There is renewed interest in formulating integration as an inference problem, motivated by obtaining a full distribution over numerical error that can be propagated through subsequent computation. Current methods, such as Bayesian Quadrature, demonstrate impressive empirical performance but lack theoretical analysis. An important challenge is to reconcile these probabilistic integrators with rigorous convergence guarantees. In this paper, we present the first probabilistic integrator that admits such theoretical treatment, called Frank-Wolfe Bayesian Quadrature (FWBQ). Under FWBQ, convergence to the true value of the integral is shown to be exponential and posterior contraction rates are proven to be superexponential. In simulations, FWBQ is competitive with state-of-the-art methods and out-performs alternatives based on Frank-Wolfe optimisation. Our approach is applied to successfully quantify numerical error in the solution to a challenging model choice problem in cellular biology.

研究の動機と目的

• 既存のベイジアン・クアドラチャー手法には理論的収束保証が欠如しているため、強力な経験的性能にもかかわらずその導入が制限されている問題に対処すること。
• 確率的積分と厳密な理論的分析を調和させることで、収束と後方分布の集中を保証する手法を開発すること。
• フランク＝ウォルフ最適化とベイジアン・クアドラチャーの不確実性評価を組み合わせることで、数値積分の収束速度と精度を向上させること。
• 特に高リスクの科学的応用において、複雑な計算パイプラインを介した数値誤差の信頼できる伝搬を可能にすること。
• 細胞生物学におけるモデル選択といった実世界の問題において、本手法の有効性を示すこと。ここで数値誤差は高価なリソースの誤配分を引き起こす可能性がある。

提案手法

• FWBQは、フランク＝ウォルフアルゴリズムを用いて、最適な求積点と重みを反復的に選択することで、ベイジアン・クアドラチャーを凸最適化問題として定式化する。
• 選択された点での関数評価を用いて更新するガウス過程事前分布を用いて、積分値に関する後方分布を構築する。
• 被積分関数をモデル化するために、核関数に基づく再生核ヒルバート空間（RKHS）を用いる。核関数は滑らかさの仮定を反映するように選定される。
• フランク＝ウォルフアルゴリズムは、最悪ケース積分誤差を最小化するように設計点と重みを選択し、高速な収束を保証する。
• 計算コストをO(n³)からO(nD²)に削減するために、ランダム・フーリエ特徴量が適用され、理論的性質を保持する。
• アルゴリズムは、後方分布が真の積分値に向かって超指数的速さで収束することを保証するように設計されている。

実験結果

リサーチクエスチョン

• RQ1 ベイジアン・クアドラチャーの不確実性評価と古典的手法の理論的収束保証を統合した確率的積分器を開発できるか？
• RQ2 確率的積分における後方分布の収束速度、特に後方分布収縮の観点から、どのような理論的保証を得られるか？
• RQ3 フランク＝ウォルフ最適化をベイジアン・クアドラチャーに効果的に統合することで、収束を加速しながら理論的厳密性を維持できるか？
• RQ4 ランダム・フーリエ特徴量の使用が、得られる求積規則の収束性と精度にどのように影響するか？
• RQ5 FWBQは、理論的収束性と実験的性能の両面で、既存手法を上回ることができるか？

主な発見

• FWBQは最悪ケース積分誤差に対して指数的収束速度を達成し、標準的なフランク＝ウォルフに基づく求積法を著しく上回る。
• 後方分布は真の積分値に向かって超指数的速さで収束するため、不確実性評価の理論的根拠が強く裏付けられる。
• シミュレーションでは、最先端の手法と同等の性能を示し、他のフランク＝ウォルフに基づくアプローチよりも収束速度が優れている。
• D=5000のランダム・フーリエ特徴量を用いることで、正確な核関数に近い収束速度を維持でき、スケーラビリティの可能性を示している。
• D=1000のランダム特徴量では、重みの近似が不十分であるため性能が著しく低下し、十分な特徴数の必要性が浮き彫りになった。
• FWBQは、細胞生物学における挑戦的なベイジアンモデル選択問題において、数値誤差を効果的に評価し、実世界への適用可能性を示した。