[論文レビュー] Neural Network Prior Mean for Particle Accelerator Injector Tuning

Connie Xu, Ryan Roussel+1 more|arXiv (Cornell University)|Nov 16, 2022

Machine Learning and Data Classification被引用数 4

ひとこと要約

本稿では、粒子加速器のインジェクタチューニングにおけるベイズ最適化において、ニューラルネットワークのスラグレートモデルを事前分布の平均として用いる手法を提案する。物理法則に基づいた高速実行可能なニューラルネットワーク事前分布を組み込むことで、初期最適化の収束が加速される。特に、スラグレートモデルと真値の相関が高い場合に顕著である。中程度の精度を持つスラグレートモデルですら、定数事前分布よりも性能が向上することを示しており、最も精度の高いモデルは真のスラグレートと同等の性能を達成している。

ABSTRACT

Bayesian optimization has been shown to be a powerful tool for solving black box problems during online accelerator optimization. The major advantage of Bayesian based optimization techniques is the ability to include prior information about the problem to speed up optimization, even if that information is not perfectly correlated with experimental measurements. In parallel, neural network surrogate system models of accelerator facilities are increasingly being made available, but at present they are not widely used in online optimization. In this work, we demonstrate the use of an approximate neural network surrogate model as a prior mean for Gaussian processes used in Bayesian optimization in a realistic setting. We show that the initial performance of Bayesian optimization is improved by using neural network surrogate models, even when surrogate models make erroneous predictions. Finally, we quantify requirements on surrogate prediction accuracy to achieve optimization performance when solving problems in high dimensional input spaces.

研究の動機と目的

• 高次元の加速器チューニングにおけるベイズ最適化のサンプル効率を向上させるために、スラグレートモデルを介して事前物理的知識を統合すること。
• ニューラルネットワークベースのスラグレートモデルが、オンライン加速器最適化におけるガウス過程の有効な事前平均関数として機能できるかどうかを調査すること。
• スラグレートモデルの必要な精度を特定し、ベイズ最適化の性能向上に寄与する水準を定量化すること。
• 実世界の加速器チューニングのシナリオにおいて、固定されたニューラルネットワーク事前分布と定数事前分布および真値スラグレート平均の性能を比較すること。
• 高次元入力空間におけるスラグレートモデルの複雑さと最適化収束速度のトレードオフを評価すること。

提案手法

• LCLSインジェクタのシミュレーションデータに基づき、異なる複雑さとトレーニングデータ密度（3^9 対 4^9 サンプル）を持つ2つのニューラルネットワークスラグレートモデルを訓練した。
• より精度の高いニューラルネットワークを、ベイズ最適化のガウス過程モデルにおけるカスタム事前平均関数として使用した。
• 標準的なベイズ最適化を変更し、各ステップでカーネルハイパーパramータを再トレーニングしながら、ニューラルネットワーク事前平均を組み込んだ。
• 次の評価点の選定をガイドするために、Upper Confidence Bound（UCB）の獲得関数を用い、β = 2.0 および β = 0.1 を使用した。
• インジェクタモデルから3つのランダムなデータポイントで最適化を初期化し、50イテレーションにわたって最大の目的関数値を追跡した。
• 4つの事前分布（定数平均、真値スラグレート平均、および2つのニューラルネットワークスラグレートモデル：Model1（精度が低い）、Model2（精度が高い））の最適化性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークスラグレートモデルは、加速器チューニングにおけるガウス過程のベイズ最適化の有効な事前平均関数として機能できるか？
• RQ2 ニューラルネットワークスラグレートモデルの精度が、高次元入力空間におけるベイズ最適化の収束速度にどのように影響するか？
• RQ3 固定されたニューラルネットワーク事前分布を用いることで、定数事前平均関数よりも最適化性能が向上するか？
• RQ4 スラグレートモデルのどの程度の精度まで到達すれば、最適化性能が真の真値スラグレートに近づくようになるか？
• RQ5 固定されたニューラルネットワーク事前分布は、モデルの不正確さによって時間経過とともに性能が低下するか？また、再トレーニングによってこれを緩和できるか？

主な発見

• より精度の高いニューラルネットワーク事前分布（Model2）は、50イテレーション経過後、定数事前分布および精度が低いニューラルネットワーク事前分布（Model1）を一貫して上回った。
• Model1は初期段階で定数事前分布を上回ったが、約30イテレーション目で停滞し、最終的には定数事前分布に劣る結果となった。これは、モデルの不正確さに起因する性能劣化を示している。
• Model2の最適化性能は、真値スラグレート平均と同等であり、良好に訓練されたニューラルネットワーク事前分布が真の事前分布をよく近似できることを示している。
• 結果から、真値と高い相関を持つ中程度の精度のスラグレートモデルですら、初期最適化の速度と収束を顕著に向上させられることを示している。
• 本研究では、固定された事前分布でさえ、不正確な場合に時間経過とともに性能が劣化することが確認された。これは、長期間にわたる最適化において再トレーニングや適応的事前分布の導入の必要性を示唆している。
• これらの発見は、真値のシミュレーションや実験に基づくスラグレートと相関が高いニューラルネットワークスラグレートを、ベイズ最適化における効果的な事前平均として使用することが有効であることを支持している。