[論文レビュー] Bayesian Algorithm Execution: Estimating Computable Properties of Black-box Functions Using Mutual Information

Willie Neiswanger, Ke Alexander Wang+1 more|arXiv (Cornell University)|Apr 19, 2021

Advanced Bandit Algorithms Research被引用数 4

ひとこと要約

この論文は、限られた関数評価予算のもとで高価なブラックボックス関数の計算可能特性を推定するためのフレームワークであるベイジアンアルゴリズム実行（BAX）を紹介する。InfoBAXは、関数評価とアルゴリズム出力の間の相互情報量を最大化する反復的クエリ選択法を提案し、全アルゴリズム実行に比べて必要なクエリを最大500倍まで削減する。

ABSTRACT

In many real-world problems, we want to infer some property of an expensive black-box function $f$, given a budget of $T$ function evaluations. One example is budget constrained global optimization of $f$, for which Bayesian optimization is a popular method. Other properties of interest include local optima, level sets, integrals, or graph-structured information induced by $f$. Often, we can find an algorithm $\\mathcal{A}$ to compute the desired property, but it may require far more than $T$ queries to execute. Given such an $\\mathcal{A}$, and a prior distribution over $f$, we refer to the problem of inferring the output of $\\mathcal{A}$ using $T$ evaluations as Bayesian Algorithm Execution (BAX). To tackle this problem, we present a procedure, InfoBAX, that sequentially chooses queries that maximize mutual information with respect to the algorithm's output. Applying this to Dijkstra's algorithm, for instance, we infer shortest paths in synthetic and real-world graphs with black-box edge costs. Using evolution strategies, we yield variants of Bayesian optimization that target local, rather than global, optima. On these problems, InfoBAX uses up to 500 times fewer queries to $f$ than required by the original algorithm. Our method is closely connected to other Bayesian optimal experimental design procedures such as entropy search methods and optimal sensor placement using Gaussian processes.

研究の動機と目的

• 厳密な評価予算のもとで高価なブラックボックス関数の計算可能特性を推定するという課題に対処すること。
• グローバル／ローカル最適化、レベルセット、積分、グラフ特性など、多様な問題を1つのベイジアン推論フレームワークに統合すること。
• アルゴリズム $σ$ を変更せずに、与えられたアルゴリズム出力に関する情報量を最大化するように関数評価を段階的に選択する手法を開発すること。
• 特にノイズが多いか高価な評価が行われる状況において、元のアルゴリズムが要する回数に比べてはるかに少ないクエリで、アルゴリズム出力の正確な推論を可能にすること。

提案手法

• InfoBAXは、関数評価と目的アルゴリズム $σ$ の出力の間の相互情報量（MI）を最大化するように逐次的クエリ選択を行う。
• 新たに評価する入力 $x$ における、アルゴリズム出力 $O_{σ}$ に対する期待情報量増加（EIG）として獲得関数を定式化し、事後エントロピーの低減を基準とする。
• 後方分布のガウス過程（GP）モデルからのモンテカルロサンプリングを用いて、複数の関数サンプル上でアルゴリズム $σ$ をシミュレートすることで、閉形式式が存在しない場合でもMIを推定可能にする。
• EIG目的関数の3つの変種を提案：$σ_{t}^{e}(x)$（実行経路）、$σ_{t}(x)$（出力）、$σ_{t}^{v}(x)$（値ベース）、それぞれがアルゴリズム的不確実性の異なる側面を捉える。
• エントロピー探索と最適センサ配置の拡張として、ベイジアン最適実験設計に基づく。
• 関数 $f$ をガウス過程でモデル化し、アルゴリズム $σ$ を通じた不確実性の伝播により、ノイズのある関数評価をサポートする。

実験結果

リサーチクエスチョン

• RQ1 アルゴリズム $σ$ が要する回数 $T$ よりもはるかに少ない関数評価回数で、ブラックボックス関数 $f$ に対する計算可能アルゴリズム $σ$ の出力を推定できるか？
• RQ2 関数値そのものではなく、アルゴリズム出力に関する情報量増加を最大化するクエリ選択戦略はどのように設計できるか？
• RQ3 一般用途のアルゴリズム $σ$ に対して、関数評価と出力の間の相互情報量の効果的な近似は何か？
• RQ4 関数評価回数の削減という観点で、標準的なベースライン（ランダムサーチや不確実性サンプリング）と比較して、InfoBAXは収束速度と精度の点で優れているか？
• RQ5 この手法は、トップ-$k$ 選択、最短経路計算、ローカル最適化など、多様なアルゴリズム的タスクに適用可能か？

主な発見

• InfoBAXは、合成的および実世界のグラフ問題において、全アルゴリズム $σ$ の実行に比べて関数評価回数を最大500倍まで削減した。
• 出力値に関する情報量を最大化する $σ_{t}^{v}(x)$ を用いたInfoBAXのバージョンが、トップ-$k$ 推定実験で真のトップ-$k$ セットへの収束が最も速かった。
• トップ-$k$ 推定タスクにおいて、$σ_{t}^{v}(x)$ および $σ_{t}(x)$ を用いたInfoBAXは70回の評価後にJaccard距離が0.1未満にまで低下し、UncertaintySampling や RandomSearch を上回った。
• Dijkstraのアルゴリズムを用いて、ブラックボックスエッジコストを持つグラフで最短経路を正しく推定した。これは、グラフ構造の特性推定への応用可能性を示している。
• InfoBAXは真のトップ-$k$ 要素（ゴールドスターリング）とアルゴリズムの実行経路（薄いグレーの点）にクエリを集中的に集中させたが、UncertaintySampling などのベースラインは関数空間全体の高不確実性領域を標的としていた。
• この手法は、元のアルゴリズム $σ$ を変更せずに、局所最適化（進化戦略を用いて）やレベルセット推定を含む多様なアルゴリズム的タスクに一般化可能である。