[論文レビュー] Transfer Learning for Bayesian Optimization: A Survey

Tianyi Bai, Yang Li+4 more|arXiv (Cornell University)|Feb 12, 2023

Advanced Multi-Objective Optimization Algorithms被引用数 18

ひとこと要約

初期点、探索空間、代理モデル、獲得関数を横断してベイズ最適化の転移学習アプローチを分類する包括的な調査であり、一般的なフレームワークと応用を提供する。

ABSTRACT

A wide spectrum of design and decision problems, including parameter tuning, A/B testing and drug design, intrinsically are instances of black-box optimization. Bayesian optimization (BO) is a powerful tool that models and optimizes such expensive "black-box" functions. However, at the beginning of optimization, vanilla Bayesian optimization methods often suffer from slow convergence issue due to inaccurate modeling based on few trials. To address this issue, researchers in the BO community propose to incorporate the spirit of transfer learning to accelerate optimization process, which could borrow strength from the past tasks (source tasks) to accelerate the current optimization problem (target task). This survey paper first summarizes transfer learning methods for Bayesian optimization from four perspectives: initial points design, search space design, surrogate model, and acquisition function. Then it highlights its methodological aspects and technical details for each approach. Finally, it showcases a wide range of applications and proposes promising future directions.

研究の動機と目的

• 通常のベイズ最適化の収束の遅さを動機づけ、形式化し、過去のタスクが現在の最適化を加速させる方法を示す。
• BOの各コンポーネントに跨るベイズ最適化の転移学習手法の統一的な分類法を提供する。
• 新しい手法開発を導くためのベイズ最適化の一般的な転移学習フレームワークを提示する。
• 転移学習を活用したBOの潜在的な適用シナリオと今後の方向性を示す。

提案手法

• 4つのBOコンポーネント内で、転送する内容と転送方法に基づいて転移学習手法を分類する。
• 初期点、評価器、代理モデル、獲得関数、探索空間を結ぶ一般的なフレームワークを提案する。
• 転送設定におけるガウス過程、ベイジアンニューラルネットワーク、ランダムフォレスト、Tree Parzen Estimators を含む代理設計オプションを詳述する。
• 多タスク、アンサンブルGPベース、RLベースの手法を含む獲得関数の転送を論じる。
• ソースタスク情報を活用するウォームスタートと探索空間設計の手法を概説する。

実験結果

リサーチクエスチョン

• RQ1 BO において、ソースタスク (t1..tK) からどのような転送可能な情報がターゲットタスク (tT) の性能を改善できるか？
• RQ2 過度なコストやネガティブ転送を生まないように、タスク間情報をBOのコンポーネントへどのように統合するか？
• RQ3 既存の転移学習BO手法を包含し、新しいアプローチを導く一般的なフレームワークとは何か？
• RQ4 転移学習BOから最も恩恵を受ける適用領域はどれか、実世界の問題に対してどのように設計すべきか？

主な発見

• 本調査は、初期点、代理モデル、獲得関数、探索空間設計に跨るBO転移学習手法の構造化された分類を提供する。
• 先行タスクが複数のBOコンポーネントに情報を提供できることを強調しつつ、異種スケールやノイズといった課題を認識している。
• BOタスク全体の将来の手法開発を導く一般的な転移学習フレームワークが提案されている。
• 転移学習BOが効果的となる多様な適用シナリオを議論し、有望な将来の方向性をまとめている。