[論文レビュー] Bayesian Optimization with Dimension Scheduling: Application to Biological Systems

Doniyor Ulmasov, Caroline Baroukh+3 more|arXiv (Cornell University)|Nov 17, 2015

Advanced Multi-Objective Optimization Algorithms参考文献 14被引用数 6

ひとこと要約

本稿では、各反復で次元の部分集合のみを最適化することで計算コストを低減し、収束を加速するベイズ最適化手法である次元スケジューリングアルゴリズム（DSA）を提案する。DSAは、特にシミュレーションが高速で多数必要となる高次元の生物学的モデルのパラメータ推定において、従来のBOよりも高速な収束と低い目的関数値を達成する。

ABSTRACT

Bayesian Optimization (BO) is a data-efficient method for global black-box optimization of an expensive-to-evaluate fitness function. BO typically assumes that computation cost of BO is cheap, but experiments are time consuming or costly. In practice, this allows us to optimize ten or fewer critical parameters in up to 1,000 experiments. But experiments may be less expensive than BO methods assume: In some simulation models, we may be able to conduct multiple thousands of experiments in a few hours, and the computational burden of BO is no longer negligible compared to experimentation time. To address this challenge we introduce a new Dimension Scheduling Algorithm (DSA), which reduces the computational burden of BO for many experiments. The key idea is that DSA optimizes the fitness function only along a small set of dimensions at each iteration. This DSA strategy (1) reduces the necessary computation time, (2) finds good solutions faster than the traditional BO method, and (3) can be parallelized straightforwardly. We evaluate the DSA in the context of optimizing parameters of dynamic models of microalgae metabolism and show faster convergence than traditional BO.

研究の動機と目的

• 実験評価が高速であるがBOの計算が高コストである高次元パラメータ空間において、従来のベイズ最適化（BO）の非効率性を解消すること。
• BOにおけるガウス過程（GP）推論の立方則スケーリングに起因するスケーラビリティの限界（約1,000件の実験と10パラメータまで）を克服すること。
• シミュレーションが高速であるが数千回の評価を要する動的生物学的モデル（例：微細藻類代謝）における効率的なパラメータ推定を可能にすること。
• モデルの精度を維持しつつ、反復ごとの計算負荷を大幅に削減するスケーラブルで並列化可能なBOフレームワークの開発。
• データサイズと次元数の増大により従来のBOが計算的に非現実的になるパラメータ推定タスクにおいて、収束速度と解の品質を向上させること。

提案手法

• パラメータの重要度を反映する確率分布に基づき、各BO反復で動的に小さな次元サブセットを選択する次元スケジューリングアルゴリズム（DSA）を導入する。
• 全データセットを複数のGPに分解し、それぞれが次元のサブセットとそれに対応する観測値を学習することで、各GPのデータサイズと計算コストを低減する。
• 各反復で、選択された次元サブセットのみで獲得関数を最適化することで、GP予測と最適化に要する時間を顕著に短縮する。
• マネージャープロセスが複数のワーカープロセスを調整し、各プロセスが割り当てられた次元サブセットのGPを維持し、獲得関数を解くことで、並列化を容易にする。
• 訓練データをGPに分散配分し、各GPが全データの小さな、頻繁に更新されるサブセットを処理することで、GPあたりの観測数を最小限に抑え、スケーラビリティを向上させる。
• 周辺尤度を用いて関連性の低いGPを pruning し、モデルの複雑さを低減することで、解像度を落とさずに効率性を改善する。

実験結果

リサーチクエスチョン

• RQ1 従来のBOが計算的に非現実的になる、高速に評価可能な高次元シミュレーションモデルに対して、ベイズ最適化をスケーラブルにできるか。
• RQ2 各反復で次元の部分集合のみを最適化することで、動的生物学的システムのパラメータ推定における収束速度と解の品質が向上するか。
• RQ3 数千回のシミュレーションを伴う高次元の生物学的モデルに適用した場合、DSAの計算オーバーヘッドは従来のBOと比べてどの程度か。
• RQ4 DSAはどの程度並列化可能であり、その並列化が最適化時間に顕著な性能向上をもたらすか。
• RQ5 GPに部分的なデータのみを用いることによる、最適化プロセスの精度と収束性への影響はどの程度か。

主な発見

• DSAは、図3に示すように、より小さなGPトレーニングセットと反復ごとの次元数の低減により、1回の実験あたりの平均計算時間を従来のBOの約1/5にまで短縮する。
• DSAはほとんどの場合、従来のBOよりも低い最良の目的関数値を達成しており、特に初期段階の反復で図2に示されるように、より速い収束が観察される。
• DSAは、頻繁に異なる次元サブセットを再評価することで、探索空間のよりダイナミックな探索を可能にし、収束頻度を向上させる。
• 従来のBOが計算スケーリングの問題により失敗する高次元の微細藻類代謝モデルにおいて、効率的なパラメータ推定を実現する。
• GPと獲得関数最適化を複数プロセスに分散することで、DSAは構造的変更を最小限に抑えつつ、並列化を容易にする。
• DSAの利点にもかかわらず、次元数の増加に伴い複数のGPにわたるデータの疎らさの影響により、時として従来のBOに劣ることがある。