[論文レビュー] Meta-Learning Acquisition Functions for Transfer Learning in Bayesian Optimization

Michael Volpp, Lukas P. Fröhlich+5 more|arXiv (Cornell University)|Apr 4, 2019

Machine Learning and Data Classification被引用数 15

ひとこと要約

この論文では、強化学習を用いてニューラル獲得関数（AF）を訓練するメタラーニングフレームワーク、MetaBOを提案する。これにより、ベイズ最適化における転移学習が可能になる。ソースタスクからタスク固有の最適化戦略を学習することで、シミュレーションから実世界への制御タスク、ハイパーパramータチューニング、一般関数クラスの全般にわたり、標準的なAF（例：期待改善）やタスクに適応したAFよりも優れたデータ効率性を達成する。構造的パターンが存在しない状況でさえも、性能を上回る。

ABSTRACT

Transferring knowledge across tasks to improve data-efficiency is one of the open key challenges in the field of global black-box optimization. Readily available algorithms are typically designed to be universal optimizers and, therefore, often suboptimal for specific tasks. We propose a novel transfer learning method to obtain customized optimizers within the well-established framework of Bayesian optimization, allowing our algorithm to utilize the proven generalization capabilities of Gaussian processes. Using reinforcement learning to meta-train an acquisition function (AF) on a set of related tasks, the proposed method learns to extract implicit structural information and to exploit it for improved data-efficiency. We present experiments on a simulation-to-real transfer task as well as on several synthetic functions and on two hyperparameter search problems. The results show that our algorithm (1) automatically identifies structural properties of objective functions from available source tasks or simulations, (2) performs favourably in settings with both scarse and abundant source data, and (3) falls back to the performance level of general AFs if no particular structure is present.

研究の動機と目的

• 繰り返し発生する類似したタスクにおけるベイズ最適化（BO）のデータ非効率性の課題に対処するため、ソースタスクから知識を転送する。
• 普遍的獲得関数（例：期待改善）の限界を克服する。これらはタスク固有の適応を欠いている。
• 勾配情報が不要なブラックボックス最適化設定と互換性のある転移学習手法を開発する。
• ソースタスクの目的関数から構造的パターンを自動で発見し、活用できるようにする。
• 利用可能な構造が存在しない場合でも、ベースラインAF性能に滑らかに劣化するよう保証する。

提案手法

• ソースタスクの集合上で強化学習を用いて、獲得関数を表すニューラルネットワーク（ニューラルAF）を訓練する。
• エピソード全体における累積レグレットの低減に基づき、ポリシー勾配法（PPO）を用いてニューラルAFのパラメータを最適化する。
• ニューラルAFの入力を、GP事後分布の平均、分散、クエリポイントの特徴量に制限し、入力位置を除くことで次元に依存しない転送を可能にする。
• RBFおよびMatern-5/2カーネルの制御されたハイパーパramータを用いたGP事前分布からサンプリングされたソースタスクの分布に対して、ニューラルAFをメタトレーニングする。
• 再訓練なしで新しいターゲットタスクに適用可能であり、新しい次元や設定に対してもゼロショット適応を可能にする。
• 一般化を確保し、ソースデータへの過剰適合を避けるために、メタトレーニング中に交差検証を用いて早期停止を決定する。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングされたニューラル獲得関数は、データが限られたベイズ最適化設定において、標準的な獲得関数を上回ることができるか？
• RQ2 この手法は、ソースタスクの目的関数から構造的パターンを自動で検出し、活用できる程度まで到達するか？
• RQ3 ソースデータが限られている場合と豊富な場合とで、この手法の性能はどのように変化するか？
• RQ4 メタトレーニング時に見た次元とは異なる入力次元を持つ新しいタスクにおいて、ニューラルAFは性能を維持できるか？
• RQ5 目的関数クラスに利用可能な構造が存在しない場合、この手法はベースライン性能に滑らかに劣化するか？

主な発見

• シミュレーションから実世界への制御タスクにおいて、MetaBOは期待改善（EI）やタスクに適応したAF（TAF）を著しく上回り、少ない評価回数で低いレグレットを達成した。
• SVMおよびAdaBoostの2つのハイパーパramータ最適化タスクにおいて、MetaBOはEIやTAFを上回るデータ効率の良いニューラルAFを学習した。TAFと同一のソースデータ量を用いても同様の結果を達成した。
• 明示的な構造がない一般関数クラス（RBFおよびMatern-5/2カーネル、長さスケール∈[0.05, 0.5]）においても、MetaBOのニューラルAFはEIと同等以上に性能を示し、頑健なフォールバック挙動を示した。
• 次元に依存しないバージョンのMetaBOは、3次元タスクでトレーニングし、再訓練なしに4次元および5次元の問題に適用したが、すべての次元で高い性能を維持した。
• MetaBOは、ソースタスクの目的関数から構造的パターンを正しく同定し、活用することで、収束を高速化し、レグレットを低減した。
• スパarsなソースデータと豊富なソースデータの両方の設定において一貫した性能を示し、実世界の最適化における広範な適用可能性を実証した。