[論文レビュー] Look-Ahead Acquisition Functions for Bernoulli Level Set Estimation

Benjamin Letham, Phillip Guan+3 more|arXiv (Cornell University)|Mar 18, 2022

Control Systems and Identification被引用数 5

ひとこと要約

本稿では、ベルヌーイ分布のレベルセット推定に適したガウス過程分類を用いた、計算可能な前方予測の獲得関数を提案する。全事後分布の更新が計算不能であるにもかかわらず、部分集合のレベルセット所属確率事後分布に対して閉形式の表現式を導出する。実験では、グローバルな前方予測獲得関数が、局所的およびランダムなベースラインを上回り、高次元の心理物理学的タスクにおける推定精度を顕著に向上させることを示している。

ABSTRACT

Level set estimation (LSE) is the problem of identifying regions where an unknown function takes values above or below a specified threshold. Active sampling strategies for efficient LSE have primarily been studied in continuous-valued functions. Motivated by applications in human psychophysics where common experimental designs produce binary responses, we study LSE active sampling with Bernoulli outcomes. With Gaussian process classification surrogate models, the look-ahead model posteriors used by state-of-the-art continuous-output methods are intractable. However, we derive analytic expressions for look-ahead posteriors of sublevel set membership, and show how these lead to analytic expressions for a class of look-ahead LSE acquisition functions, including information-based methods. Benchmark experiments show the importance of considering the global look-ahead impact on the entire posterior. We demonstrate a clear benefit to using this new class of acquisition functions on benchmark problems, and on a challenging real-world task of estimating a high-dimensional contrast sensitivity function.

研究の動機と目的

• 人間の心理物理学実験で一般的に見られる二値（ベルヌーイ）観測における、効率的なアクティブサンプリングの課題に取り組む。
• ベルヌーイ尤度を伴うガウス過程分類における、前方予測事後分布更新の計算不能性を克服する。
• 将来的な観測がレベルセット事後分布に与える影響を包括的に考慮した、解析的で閉形式の獲得関数を開発する。
• これらの獲得関数の性能を、ベンチマーク問題および現実世界の高次元コントラスト感受性関数推定タスクにおいて評価する。
• 高次元ベルヌーイLSEにおいて、グローバルな前方予測が信頼性の高い性能を達成するために不可欠であることを示す。特に、閾値付近の高いノイズ環境下で顕著である。

提案手法

• ベルヌーイ観測を伴うGP分類モデルにおいて、部分集合のレベルセット所属確率事後分布の正確な閉形式表現式を導出する。
• これらの解析的事後分布を用いて、モンテカルロ近似を用いずに、前方予測獲得関数（情報ベースおよびボリュームベースの基準）を計算する。
• ベイズ最適化における最大値エントロピー探索にインspiredされた、新しい獲得関数「期待絶対ボリューム変化量（EAVC）」を導入する。
• 獲得関数の勾配に基づく最適化を可能にするために、微分可能な2変量正規分布（BVN）ルーチンを採用する。
• シミュレートされた高次元LSE問題および、コントラスト感受性関数を含む現実世界の視覚心理物理学実験に本手法を適用する。
• グローバルな前方予測の影響を明確に分離するため、局所的前方予測、準ランダム探索、非前方予測ベースラインと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 計算不能な全事後分布更新がある中で、ベルヌーイ分布のレベルセット推定に適した計算可能な前方予測獲得関数を導出できるか？
• RQ2 全事後分布全体への影響を考慮するグローバルな前方予測が、高次元設定におけるレベルセット推定精度を顕著に向上させるか？
• RQ3 部分集合のレベルセット所属確率事後分布に基づく前方予測獲得関数は、非前方予測または局所的獲得関数と比較して、推定品質にどのように差をつけるか？
• RQ4 提案手法は、高次元のスティムラス空間を有する現実世界の心理物理学実験に、効率的に適用可能か？
• RQ5 高次元ベルヌーイ観測における高いノイズ（特に閾値付近）を考慮しても、グローバル前方予測による性能向上が十分に顕著に現れるか？

主な発見

• 部分集合のレベルセット所属確率事後分布の閉形式表現式を導出し、モンテカルロ近似を用いずに獲得関数を正確に計算可能にした。
• EAVCを含む提案された獲得関数は、高次元ベンチマーク問題において、局所的前方予測および非前方予測手法を顕著に上回り、特に意思決定境界付近の領域で顕著な性能向上を示した。
• 準ランダム探索が強力なベースラインとして機能した。これは、特に高次元かつ高ノイズ環境下のLSEにおいて、こうした比較が不可欠であることを示唆している。
• 研究では、グローバル前方予測が信頼性の高い性能を達成するために不可欠であることが実証された。局所的前方予測手法は、高次元における境界付近の高分散領域に陥りがちである。
• 本手法は、リアルタイムの人間実験に適した効率的な獲得関数計算を可能にし、高次元コントラスト感受性関数推定タスクへの応用に成功した。
• 結果から、標準偏差がp=0.75で約0.43に達する高いノイズ環境下でも、グローバル予測的影響を活用することで、正確なレベルセット推定が達成可能であることが示された。