[論文レビュー] Learning to Do or Learning While Doing: Reinforcement Learning and Bayesian Optimisation for Online Continuous Tuning

Jan Kaiser, Chenran Xu+10 more|arXiv (Cornell University)|Jun 6, 2023

Reservoir Engineering and Simulation Methods被引用数 5

ひとこと要約

この論文は、実世界の粒子加速器におけるオンライン連続チューニングにおいて、強化学習で訓練された最適化（RLO）とベイズ最適化（BO）を比較する。ARES加速器でのビームチューニングタスクを用いた研究では、RLOが収束速度と最終的性能において一般的にBOを上回ることを示しているが、BOはノイジーな状況での安定性に優れる。これにより、複雑なプラントチューニングの場面におけるアルゴリズム選定のための基準が提示された。

ABSTRACT

Online tuning of real-world plants is a complex optimisation problem that continues to require manual intervention by experienced human operators. Autonomous tuning is a rapidly expanding field of research, where learning-based methods, such as Reinforcement Learning-trained Optimisation (RLO) and Bayesian optimisation (BO), hold great promise for achieving outstanding plant performance and reducing tuning times. Which algorithm to choose in different scenarios, however, remains an open question. Here we present a comparative study using a routine task in a real particle accelerator as an example, showing that RLO generally outperforms BO, but is not always the best choice. Based on the study's results, we provide a clear set of criteria to guide the choice of algorithm for a given tuning task. These can ease the adoption of learning-based autonomous tuning solutions to the operation of complex real-world plants, ultimately improving the availability and pushing the limits of operability of these facilities, thereby enabling scientific and engineering advancements.

研究の動機と目的

• 複雑な物理系におけるリアルワールドのオンライン連続チューニングにおいて、強化学習で訓練された最適化（RLO）とベイズ最適化（BO）の性能を評価・比較すること。
• 測定ノイズ、時間制約、動的システム行動を含む現実的な条件下でのRLOとBOの強みと限界を特定すること。
• 次元数、ノイズレベル、収束速度の要件といったチューニングタスクの特性に基づいて、RLOとBOの選定に役立つ意思決定基準のセットを構築すること。
• シミュレーションと実加速器での実験の両方を用いて手法を検証し、実用的妥当性と信頼性を確保すること。
• 高影響度の科学施設における自律的で、サンプル効率的かつ再現可能なチューニングを可能にするために、熟練した人間のオペレータへの依存を減らすこと。

提案手法

• RLOは、深層決定的方策勾配（DDPG）に基づくエージェントを強化学習で訓練し、リアルタイムで最適な磁石設定を決定するエンドツーエンドのポリシーを学習する。
• BOは、探索と活用のバランスをとるために、期待改善（EI）の獲得関数を用いたガウス過程（GP）のスレーブモデルを用いる。
• 両手法は、電子ビームを診断用スクリーンに焦点合わせ・指向制御することを目的としたARES粒子加速器におけるビームチューニングタスクで評価された。
• 目的関数は、ビーム位置誤差（MAE）とスクリーン上でのビーム報酬を組み合わせており、GPの安定性を向上させるために入力を正規化し、出力を標準化した。
• GPモデルのハイパーパrameter（長さスケール、信号ノイズ）は、各ステップで対数尤度の最大化により動的に更新された。
• 四極磁石におけるコストの高い極性変更を避けるために制約付きの行動空間が採用され、ステップサイズは全行動範囲の0.1倍まで制限された。

Figure 1: Simplified 3D illustration of the considered section of the ARES particle accelerator. This section consists of three quadrupole magnets and two steering magnets, followed by a diagnostic screen. The measured beam $\bm{b}$ and the desired beam $\bm{b}^{\prime}$ are provided to the algorith

実験結果

リサーチクエスチョン

• RQ1 実世界の粒子加速器におけるビームチューニングタスクにおいて、RLOとBOは収束速度と最終的最適化性能の点でどのように比較されるか？
• RQ2 測定ノイズや限られたサンプル予算といった現実的条件下での、RLOとBOの相対的な強みと弱みは何か？
• RQ3 チューニング次元数とシステムの動的挙動が増加するにつれて、RLOとBOの性能はどのように変化するか？
• RQ4 実加速器運用からの実証的結果に基づいて、どのような状況でRLOがBOよりも適しているか、逆にBOがRLOよりも適しているか？
• RQ5 今後の複雑な物理プラントにおける自律チューニングアプリケーションのための、RLOまたはBOの選定を支援する意思決定基準を導出できるか？

主な発見

• RLOは、ビームチューニングタスクにおいてBOを上回る収束速度とより優れた最終的性能を達成し、75回の実世界ステップ後に平均絶対誤差（MAE）を0.1 mm未満に低下させた。
• BOは収束が遅いが、ノイジーな状況での安定性に優れ、測定不確実性による発散リスクが低かった。
• +10のビームスクリーン報酬の導入により、目的関数が著しく向上した。これは、視認性が重要な性能指標であることを示している。
• 両手法とも、ネルダー・ミード法やランダムサーチといったベースライン手法を上回った。シミュレーションおよび実世界の試行において、RLOは30〜40％の高速な収束速度を示した。
• 本研究では、RLOがスパースなフィードバックから複雑な非線形ポリシーを学習できるため、高次元チューニングタスクにおいてより効果的であることが判明した。
• シミュレーションと実世界データの統合により、妥当な検証が可能となり、RLOがシミュレーションから実加速器運用への一般化に優れていることが確認された。

Figure 2: Beam difference over time for different optimisation algorithms. The mean beam difference as the MAE of the beam parameters to the target beam is shown by the solid and dashed lines. The envelopes show the \qty 95 confidence intervals of the beam differences. a shows the beam differences a