[論文レビュー] Multi-fidelity Bayesian Optimization with Max-value Entropy Search.

Shion Takeno, Hitoshi Fukuoka+5 more|arXiv (Cornell University)|Jan 24, 2019

Machine Learning and Data Classification被引用数 18

ひとこと要約

本稿では、多忠実度設定における情報量の推定を改善するため、最大値エントロピー探索（MES）を用いた新しい多忠実度ベイズ最適化手法を提案する。1次元積分とサンプリングのみを用いて取得関数を解析的に計算可能とすることで、効率的かつ正確な最適化を実現し、合成データ、ベンチマーク、および実世界の材料科学データにおいて優れた性能を示している。

ABSTRACT

Bayesian optimization (BO) is an effective tool for black-box optimization in which objective function evaluation is usually quite expensive. In practice, lower fidelity approximations of the objective function are often available. Recently, multi-fidelity Bayesian optimization (MFBO) has attracted considerable attention because it can dramatically accelerate the optimization process by using those cheaper observations. We propose a novel information theoretic approach to MFBO. Information-based approaches are popular and empirically successful in BO, but existing studies for information-based MFBO are plagued by difficulty for accurately estimating the information gain. Our approach is based on a variant of information-based BO called max-value entropy search (MES), which greatly facilitates evaluation of the information gain in MFBO. In fact, computations of our acquisition function is written analytically except for one dimensional integral and sampling, which can be calculated efficiently and accurately. We demonstrate effectiveness of our approach by using synthetic and benchmark datasets, and further we show a real-world application to materials science data.

研究の動機と目的

• 既存の情報理論的多忠実度ベイズ最適化（MFBO）手法における不正確な情報量推定の課題に対処すること。
• 多忠実度設定に特化したエントロピー探索の変種を活用することで、多忠実度最適化の効率性と正確性を向上させること。
• 計算複雑度を1次元積分とサンプリングにまで低減させることで、情報ベースのMFBOの実用的導入を可能とすること。
• 合成データおよび実世界のデータセットを用いた検証を通じて、特に材料科学分野の応用において本手法の有効性を検証すること。

提案手法

• 情報量の計算を簡略化する情報理論的ベイズ最適化の一種である最大値エントロピー探索（MES）の多忠実度拡張を提案する。
• 期待情報量の解析的評価を可能にする取得関数を導出するが、1次元積分の項を除いては解析的評価が可能である。
• 残りの1次元積分をモンテカルロサンプリングで近似することで、計算の効率性と正確性を確保する。
• 下位忠実度の関数評価を最適化プロセスに統合することで、最適解への収束を加速する。
• ガウス過程を用いて、目的関数およびその忠実度レベルの確率的モデルを維持する。
• 最適な入力に関する期待情報量を最大化する次回の評価点を選択するために、取得関数を最適化する。

実験結果

リサーチクエスチョン

• RQ1 最大値エントロピー探索は、多忠実度ベイズ最適化に効果的に拡張可能であり、情報量推定の精度を向上させることができるか？
• RQ2 提案手法は、既存のMFBO手法と比較して収束速度および正確性の点で優れているか？
• RQ3 本手法は、1次元積分とサンプリングのみを用いて効率的に実装可能であり、実用的導入が可能か？
• RQ4 本手法は、実世界の材料科学分野の最適化タスクにおいて優れた性能を示すか？

主な発見

• 本手法は、MESを多忠実度設定に再定式化することで、計算複雑度を1次元積分にまで低減させ、正確な情報量推定を実現した。
• サンプリングと解析的表現を組み合わせることで、取得関数を効率的かつ正確に評価可能となり、実世界のシナリオにおける実用的利用が可能になった。
• 合成データおよびベンチマークデータセットにおける実験結果から、既存のMFBO手法と比較して収束が早く、最適化性能が向上していることが示された。
• 実世界の材料科学応用において、高パフォーマンスな材料組成を、高価な評価回数を最小限に抑えて効果的に同定できた。