[論文レビュー] Model-free and Bayesian Ensembling Model-based Deep Reinforcement Learning for Particle Accelerator Control Demonstrated on the FERMI FEL

Simon Hirlaender, Niky Bruchon|arXiv (Cornell University)|Dec 17, 2020

Advancements in Semiconductor Devices and Circuit Design被引用数 11

ひとこと要約

本稿では、FERMI自由電子レーザーにおける放射強度最適化のための、モデルフリーかつベイジアンアンサンブル化されたモデルベース深層強化学習手法を提案する。不確実性を考慮したダイナミクスモデリングにアンカーデアンサンブルを用いたAE-DYNAと、特化した深層Q学習を用いたモデルフリー制御を組み合わせることで、1,000ポイント未満のデータでわずか3〜5ステップで最大強度の95％以上を達成し、実世界の加速器制御において高いデータ効率とロバストネスを示した。

ABSTRACT

Reinforcement learning holds tremendous promise in accelerator controls. The primary goal of this paper is to show how this approach can be utilised on an operational level on accelerator physics problems. Despite the success of model-free reinforcement learning in several domains, sample-efficiency still is a bottle-neck, which might be encompassed by model-based methods. We compare well-suited purely model-based to model-free reinforcement learning applied to the intensity optimisation on the FERMI FEL system. We find that the model-based approach demonstrates higher representational power and sample-efficiency, while the asymptotic performance of the model-free method is slightly superior. The model-based algorithm is implemented in a DYNA-style using an uncertainty aware model, and the model-free algorithm is based on tailored deep Q-learning. In both cases, the algorithms were implemented in a way, which presents increased noise robustness as omnipresent in accelerator control problems. Code is released in https://github.com/MathPhysSim/FERMI_RL_Paper.

研究の動機と目的

• 実世界の粒子加速器制御における強化学習の運用可能性を実証すること。特に、FERMI自由電子レーザーにおける強度最適化を対象とする。
• 実加速器環境下で、データ効率、漸近的性能、ノイズ耐性の観点から、モデルフリーとモデルベースの深層強化学習を比較すること。
• 不確実性を考慮したダイナミクスモデルとアンカーデアンサンブルを用いた、新たなモデルベースアルゴリズムAE-DYNAの開発と検証を行い、安定性と一般化性能の向上を図ること。
• 最小限のデータで高性能な制御を達成し、加速器物理学で一般的な時間変動するシステムに適応可能なリアルタイム再訓練を可能にすること。
• ノイズインジェクションやアンサンブル正則化などのアーキテクチャ的・訓練的革新を通じて、ノイズ耐性と低バイアスを確保すること。

提案手法

• アンカーデアンサンブルを用いた不確実性を考慮した予測を実現するニューラルネットワークダイナミクスモデルを有する、モデルベースRLアルゴリズムAE-DYNAを採用。これによりバイアス低減とロバストネス向上を実現。
• 複数のモデル間で多様でMAPに類似したパrameter推定を促進する正則化項を損失関数に追加することで、アンカーデアンサンブルを実装。ベイジアン後確率分布の近似を模倣。
• データノイズ分散と事前分散の比から導出される要素を持つ対角正則化行列Γを用い、訓練の安定化と不確実性推定の向上を図る。
• ノイズインジェクションと状態正規化を施したモデルフリー深層Q学習の変種を採用し、測定ノイズに対するロバストネスの向上とデータ効率の改善を実現。
• 両アルゴリズムをリアルタイム学習フレームワークに統合。新規データに対する再訓練を可能とし、時間変動するシステムダイナミクスへの適応を可能にする。
• モデルベース手法ではSACベースのアクタ・クリティック構造を用いた連続的行動空間とし、モデルフリーベースラインには特化したDQN変種を採用。両者とも実FERMI FELデータを用いて訓練。

実験結果

リサーチクエスチョン

• RQ1 モデルベースの深層強化学習は、実世界の加速器制御において、モデルフリー手法に比べて優れたデータ効率を達成できるか？
• RQ2 アンカーリジュレーションを用いたベイジアンアンサンブルは、FEL制御におけるダイナミクスモデリングの安定性と不確実性推定をどのように向上させるか？
• RQ3 両手法が、ノイズが混在する実世界の加速器環境下で、限られたデータ（1,000ポイント未満）でどれほど高い性能を達成できるか？
• RQ4 人工的および実世界のノイズ条件下で、両手法のノイズ耐性はどのように比較されるか？
• RQ5 提案手法は、時間変動するシステム行動に適応可能なリアルタイム再訓練が可能か？これにより、動的環境での運用展開が可能になるか？

主な発見

• モデルベースのAE-DYNAアルゴリズムは、わずか3〜5回の最適化ステップで最大放射強度の95％以上を達成し、極めて優れたデータ効率を示した。
• AE-DYNAは1,000ポイント未満のデータでほぼ最適性能に到達し、モデルフリー手法に比べて顕著なデータ効率の優位性を示した。
• モデルフリーの深層Q学習手法は、AE-DYNAに比べてわずかに高い漸近的性能を達成したが、それに伴い著しく高いデータ要求量を要した。
• AE-DYNAにおける不確実性を考慮したダイナミクスモデリングとアンカーデアンサンブルの組み合わせにより、モデルバイアスが低減され、特にノイズ環境下での訓練安定性が向上した。
• 訓練時におけるノイズインジェクションは両手法のロバストネスを向上させたが、AE-DYNAは人工ノイズ下で優れた性能を示し、報酬のばらつきが少なく、収束が速かった。
• 3モデルアンサンブルのAE-DYNAが、収束速度と安定性の観点で、単一ネットワークや大規模アンサンブルよりも最良の妥協点を提供した。