[論文レビュー] Multi-Information Source Optimization

Matthias Poloczek, Jialei Wang+1 more|arXiv (Cornell University)|Mar 1, 2016

Advanced Bandit Algorithms Research被引用数 4

ひとこと要約

本稿では、複数のコスト変動型情報源（バイアスを伴う固有のモデル差異とノイズのある観測を含む）を扱う、多情報源最適化（MISO）のための新規ベイジアン最適化アルゴリズム、misoKGを提案する。知識勾配をバイアスとコストの両方を考慮する形に拡張することで、単位コストあたりの期待利益を最大化するクエリ選択が可能となり、ベンチマーク問題（包括的な在庫最適化タスクを含む）において、目的値とクエリ効率の両面で最先端手法を上回る性能を発揮した。

ABSTRACT

We consider Bayesian optimization of an expensive-to-evaluate black-box objective function, where we also have access to cheaper approximations of the objective. In general, such approximations arise in applications such as reinforcement learning, engineering, and the natural sciences, and are subject to an inherent, unknown bias. This model discrepancy is caused by an inadequate internal model that deviates from reality and can vary over the domain, making the utilization of these approximations a non-trivial task. We present a novel algorithm that provides a rigorous mathematical treatment of the uncertainties arising from model discrepancies and noisy observations. Its optimization decisions rely on a value of information analysis that extends the Knowledge Gradient factor to the setting of multiple information sources that vary in cost: each sampling decision maximizes the predicted benefit per unit cost. We conduct an experimental evaluation that demonstrates that the method consistently outperforms other state-of-the-art techniques: it finds designs of considerably higher objective value and additionally inflicts less cost in the exploration process.

研究の動機と目的

• 高価なブラックボックス関数の最適化を、安価でバイアスを有する近似関数が利用可能な状況で行う課題に対処すること。
• 複数の情報源における観測ノイズとモデル差異（バイアス）に起因する不確実性をモデル化し、厳密に取り扱うこと。
• 異種の情報源間で、クエリコストと目的値の期待改善のトレードオフをバランスさせる意思決定フレームワークを構築すること。
• 特に顕著なモデル差異が存在する状況において、単位コストあたりの情報価値を最大化することで最適化の効率を向上させること。
• 実世界および合成ベンチマークにおいて、既存の最先端技術と比較して提案手法の優位性を実証すること。

提案手法

• 真の目的関数と複数の近似関数を同時にモデル化する多情報源ガウス過程モデルを採用し、バイアスとノイズの両方を考慮する。
• 知識勾配の獲得関数を拡張し、目的値の期待改善と各情報源のクエリコストの両方を組み込む。
• 各候補点と情報源について、単位コストあたりの期待的利益を定量化する情報価値メトリクスを計算する。
• 階層的事前分布構造を用いて情報源と真の目的関数の相関をモデル化し、複数の情報源にわたる不確実性の定量化を可能にする。
• 獲得関数を最適化し、単位コストあたりの期待利益を最大化する次回の点と情報源の組み合わせを選択することで、効率的な探索を実現する。
• 最適解に関する不確実性が低下するに従い、安価でバイアスを有する情報源から、より正確だが高コストな情報源へ動的に移行する。

実験結果

リサーチクエスチョン

• RQ1 ベイジアン最適化を、コスト、バイアス、ノイズレベルが異なる複数の情報源を扱えるようにどのように拡張できるか？
• RQ2 モデル差異が存在する状況において、期待改善とクエリコストのトレードオフを最適にバランスさせる獲得基準は何か？
• RQ3 バイアスとコストを考慮した情報価値分析は、既存手法と比較して収束速度を向上させ、より高い目的値を達成できるか？
• RQ4 最適化の過程で、アルゴリズムはどのように情報源を適応的に切り替えるか？コストを最小限に抑えつつ性能を最大化するか？
• RQ5 モデル差異が性能に顕著に悪影響を及ぼす程度はどの程度か？多ファイデリティ最適化において、これを効果的に緩和できるか？

主な発見

• misoKGはアセンブリ・トゥ・オーダーのベンチマークで平均26.1の向上を達成し、目的値とコスト効率の両面でMTBO+およびmisoEIを大きく上回った。
• misoKGは、同等の目的値に到達するためのクエリコストを、misoEIが要請するコストのたった6.3%に抑えた。これは、優れたコスト効率を示している。
• アルゴリズムは最適化の初期段階では主に最も安価でバイアスを有する情報源（IS1）を用い、次第に精度は低いが高価な情報源（IS2）に切り替えることで解を精緻化した。これは最適な戦略を反映している。
• 150ステップのうちに、最も正確な情報源（IS2）に対してわずか10件程度のクエリしか行わず、高コスト情報源の効率的利用を示した。
• misoKGは平均クエリコスト54.6で26.1の利益を達成したが、misoEIは同程度の性能を達成するためにははるかに高いコストを要した。
• misoKGはMTBO+を性能面で圧倒的に上回り、特に初期段階で顕著な優位性を示した。100回のランで全期間にわたり、利益/コスト比において明確な優位性を示した。