[論文レビュー] Lifelong Bayesian Optimization

Yao Zhang, James Jordon+2 more|arXiv (Cornell University)|May 29, 2019

Gaussian Processes and Bayesian Inference参考文献 42被引用数 6

ひとこと要約

Lifelong Bayesian Optimization (LBO) は、順次到着するデータセット間で共有表現を動的に学習することで、ハイパーパramータ最適化を加速するマルチタスクベイジアン最適化フレームワークです。新しい関数に対してニューラルネットワークを適応的に導入するためのベイジアンノンパラメトリック事前分布（インドの賓客プロセス）を用いることで、合成データおよび実世界の医療データセットにおいて、標準的なBOおよびマルチタスクベースラインと比較して、収束が速く、より優れたロバスト性を達成しています。

ABSTRACT

Automatic Machine Learning (Auto-ML) systems tackle the problem of automating the design of prediction models or pipelines for data science. In this paper, we present Lifelong Bayesian Optimization (LBO), an online, multitask Bayesian optimization (BO) algorithm designed to solve the problem of model selection for datasets arriving and evolving over time. To be suitable for "lifelong" Bayesian Optimization, an algorithm needs to scale with the ever increasing number of acquisitions and should be able to leverage past optimizations in learning the current best model. We cast the problem of model selection as a black-box function optimization problem. In LBO, we exploit the correlation between functions by using components of previously learned functions to speed up the learning process for newly arriving datasets. Experiments on real and synthetic data show that LBO outperforms standard BO algorithms applied repeatedly on the data.

研究の動機と目的

• 時間の経過とともに到着・進化するデータセットのためのモデル選択の課題に取り組むこと。特に、データが継続的に収集される医療分野のような実世界の応用において。
• 各新しいデータセットに対して再起動を伴う標準的なベイジアン最適化の限界を克服すること。これにより、過去の最適化データの無駄な使用を避ける。
• 関連するデータセットに対応するブラックボックス関数間の相関関係を活用することで、ハイパーパramータ最適化におけるサンプル効率と収束速度を向上させること。
• 再トレーニングを伴わず、かつ新しいデータセットが過去のものと著しく異なる場合でも性能を維持できるスケーラブルでオンラインな手法を開発すること。
• 固定された潜在関数の数やすべてのタスクに共通するニューラルネットワークを仮定しない、柔軟でノンパラメトリックな手法を導入し、データセット間の共有構造をモデル化すること。

提案手法

• ブラックボックス関数をモデル化するためのニューラルネットワークの導入数を決定するために、ベイジアンノンパラメトリック事前分布（インドの賓客プロセス）を用い、新しいデータセットに応じた動的適応を可能にする。
• 変分推論フレームワークを用いて、ニューラルネットワークのパラメータと潜在変数を同時に最適化し、タスク間での共有表現のエンドツーエンド学習を可能にする。
• 各ブラックボックス関数を、関連するデータセット間の相関関係を捉える共有された深層ニューラルネットワークベースのカーネルを備えたガウス過程としてモデル化する。
• インドの賓客プロセスからの関連性の事後確率に基づき、必要に応じてのみタスク固有のニューラルネットワークを導入することで、柔軟性を確保し、類似しないタスクへの過剰適合を回避する。
• 現在のデータと過去のデータセットから学習された共有表現を統合した、マルチタスクベイジアン最適化フレームワークを採用し、獲得関数を最適化する。
• 計算効率を維持するため、スパース近似技術を用いる。これは、データセット数や関数評価回数が時間とともに増加する場合にも有効である。

実験結果

リサーチクエスチョン

• RQ1 ベイジアン最適化フレームワークは、関連するデータセットからの過去の最適化データを効果的に活用し、新規に到着するデータセットでの学習を加速できるか？
• RQ2 モデルは、新しいデータセットに対して、既存の表現を再利用するか、新しいものを導入するかを動的にどのように決定するか？
• RQ3 共有表現に対するノンパラメトリック事前分布（インドの賓客プロセスによる）は、固定または事前に指定されたマルチタスク構造と比較して、より優れたパフォーマンスとロバスト性をもたらすか？
• RQ4 本手法は、標準的なベイジアン最適化および既存のマルチタスクBOアプローチと比較して、実世界のデータにおける収束速度および最終的パフォーマンスにおいて優れているか？
• RQ5 新しいデータセットの分布が過去のものとずれた場合、本手法はどの程度効果を維持できるか？

主な発見

• LBO は、UNOS-I, II, III の3つのUNOSデータセットにおいて、50回の関数評価後における最大AUCの観点で、標準的なBOおよびMTGP, ABLR-50, ABLR-100といったマルチタスクベースラインを上回っています。
• UNOS-Iデータセットでは、LBOはランダムサーチに対して約1.25–1.30の正規化AUCを達成しており、最初の50回の評価内でのパフォーマンスが25–30%向上していることを示しています。
• LBO は、データの重複度（4–6年）の変動に対しても一貫したパフォーマンスを示しており、分布のシフトや時間経過によるデータ劣化に対してもロバストであることが確認されています。
• 本手法は、新しいニューラルネットワークが必要な場合を適切に同定しています。例えば、UNOS-IIIでは新しいネットワーク $ g_3 $ が導入されており、類似しない関数を共有表現に強制的に組み込むのを避けています。
• 合成実験では、LBO は関数間の相関構造を正確にモデル化しており、新しい相関のないデータセットが到着するにつれて、有効なニューラルネットワークの数が適切に増加しています。
• 変分推論フレームワークによりスケーラブルなトレーニングが可能であり、データセット数が増加しても再トレーニングを必要とせず、良好な一般化性能を示しています。