[論文レビュー] Automated Model Selection with Bayesian Quadrature

Henry Chai, Jean-François Ton+2 more|arXiv (Cornell University)|Feb 26, 2019

Fault Detection and Control Systems被引用数 5

ひとこと要約

本稿では、観測値と事後モデル確率の相互情報量を最大化するように能動的に尤度評価を選択する、ベイジアン四則演算に基づく自動モデル選択手法を提案する。特に計算コストの高い設定において、モンテカルロ法や標準的なベイジアン四則演算よりも少ない尤度評価回数でより正確なモデル選択を達成する。

ABSTRACT

We present a novel technique for tailoring Bayesian quadrature (BQ) to model selection. The state-of-the-art for comparing the evidence of multiple models relies on Monte Carlo methods, which converge slowly and are unreliable for computationally expensive models. Previous research has shown that BQ offers sample efficiency superior to Monte Carlo in computing the evidence of an individual model. However, applying BQ directly to model comparison may waste computation producing an overly-accurate estimate for the evidence of a clearly poor model. We propose an automated and efficient algorithm for computing the most-relevant quantity for model selection: the posterior probability of a model. Our technique maximizes the mutual information between this quantity and observations of the models' likelihoods, yielding efficient acquisition of samples across disparate model spaces when likelihood observations are limited. Our method produces more-accurate model posterior estimates using fewer model likelihood evaluations than standard Bayesian quadrature and Monte Carlo estimators, as we demonstrate on synthetic and real-world examples.

研究の動機と目的

• 計算コストの高いモデルのモデル証拠推定において、モンテカルロ法の非効率性を解消すること。
• 標準的なベイジアン四則演算のモデル選択における限界を克服すること。特に、性能が低いモデルに過剰にサンプルを割り当てる問題を解消すること。
• 事後モデル確率に対する情報量の高い尤度評価を優先する能動的学習戦略を開発すること。
• 限られた尤度評価回数で、異なるモデル空間間の効率的かつ正確なモデル比較を可能にすること。

提案手法

• 尤度観測値と事後モデル確率の間の相互情報量を最大化する新しい獲得関数を提案する。
• ガウス過程を用いてモデル証拠の同時分布をモデル化し、複数のモデル間で不確実性を伝搬する。
• 能動的サンプリングの標的として、事後モデル確率ベクトルのエントロピーを用いることで、全モデルのバランスの取れた探索を保証する。
• モデル証拠推定の条件付き分布を活用することで、相互情報量の実用的かつ計算可能な近似を導出する。
• 獲得関数をベイジアン四則演算フレームワークに統合し、複数のモデルにまたがる最も情報量の高いパラメータ位置を段階的に選択する。
• 多出力ガウス過程を用いて、異なるモデル間の尤度をモデル化し、相関のある不確実性推定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ベイジアン四則演算を、個々のモデル証拠ではなく、事後モデル確率を直接標的にするように適応可能か？
• RQ2 尤度観測値とモデル事後確率の間の相互情報量に基づく能動的サンプリングは、モデル選択におけるサンプル効率を向上させるか？
• RQ3 提案手法は、標準的なモンテカルロ法やベイジアン四則演算と比較して、精度および収束速度において優れているか？
• RQ4 全事後確率ではなく、二項モデル比較（例：$[z_1 > z_2]$）を標的にする代替の獲得関数にはどのような限界があるか？
• RQ5 相関のある証拠を持つ2つ以上のモデル間のモデル選択に、本手法を拡張可能か？

主な発見

• 提案手法は、標準的なベイジアン四則演算やモンテカルロ法よりもはるかに少ない尤度評価回数で、より正確な事後モデル確率推定を達成する。
• 合成的な1次元および2次元の実験において、分数誤差と収束速度の両面で、ブリッジサンプリングやリバーシブルジャンプMCMCを上回る性能を示す。
• 全事後モデル確率ベクトルのエントロピーを標的にすることで、$[z_1 > z_2]$のような二項比較を標的にする手法よりも優れた性能を発揮する。後者は早期収束や不安定性に苦しむ。
• $[z_1 > z_2]$を標的にする代替手法は、次第に過信に陥りやすく、次元が高くなるとモデルパラメータ空間の有効な探索が困難になる。
• モデル証拠が相関するネストドモデル選択タスクにおいても、本手法は頑健であることが示され、マルチタスクガウス過程への拡張の可能性を示唆する。
• 実験から、相互情報量に基づく獲得関数が、複数のモデルパラメータ空間を効率的に同時に探索できることを示しており、著しく劣るモデルへの無駄なサンプリングを回避している。