[論文レビュー] Machine learning for design optimization of storage ring nonlinear dynamics

Faya Wang, Minghao Song+2 more|arXiv (Cornell University)|Oct 31, 2019

Structural Health Monitoring Techniques参考文献 1被引用数 5

ひとこと要約

本稿では、保存リング内の非線形ビームダイナミクスの多次元最適化を高速化するためのマルチジェネレーションニューラルネットワークサーモンモデルを提案する。新たに評価された解を反復的に用いて深層ニューラルネットワークを訓練・更新することで、SPEAR3格子構造において2,000回のシミュレーションでパレート最適解に収束する。これはNSGA-IIや粒子群最適化（PSO）と比較して顕著に高速であり、同程度の結果を得るには10,000回の評価が必要であった。

ABSTRACT

A novel approach to expedite design optimization of nonlinear beam dynamics in storage rings is proposed and demonstrated in this study. At each iteration, a neural network surrogate model is used to suggest new trial solutions in a multi-objective optimization task. The surrogate model is then updated with the new solutions, and this process is repeated until the final optimized solution is obtained. We apply this approach to optimize the nonlinear beam dynamics of the SPEAR3 storage ring, where sextupole knobs are adjusted to simultaneously improve the dynamic aperture and the momentum aperture. The approach is shown to converge to the Pareto front considerably faster than the genetic and particle swarm algorithms.

研究の動機と目的

• マルチパーティクルトラッキングを用いたシミュレーションで1回あたり数分から数十分を要する、保存リング格子設計におけるビームダイナミクス評価の高い計算コストを低減すること。
• 加速器物理学に一般的に見られる高次元かつ非線形なパrameter空間における多次元最適化の効率を向上させること。
• ダイナミックアパーチャーとモーメンタムアパーチャーを同時に最大化するための最適なセクシュプル・ノブ設定を求めるために、高価な物理シミュレーションの回数を削減すること。
• 反復的かつアンサンブルベースのニューラルネットワークサーモンモデルが、NSGA-II や粒子群最適化（PSO）といった従来の確率的アルゴリズムを上回ることを実証すること。

提案手法

• 5層の全結合層とLeakyReLU活性化関数を備えた深層順伝播ニューラルネットワークを用い、セクシュプル・ノブ設定からダイナミックアパーチャーとモーメンタムアパーチャーを予測する。
• 20個のニューラルネットワークのアンサンブルを用い、各モデルでランダムにサンプリングされたLeakyReLUの勾配を設定し、予測値を平均化することで耐障害性を高め、過学習を軽減する。
• 最適化は反復的に進行する：現在のサーモンモデルに基づきNSGA-IIを用いてパレート最適解を生成し、その周辺のパrameter空間から新たな候補解をサンプリングする。
• 各新しい評価結果のバッチに対してサーモンモデルを再訓練することで、徐々に精度が向上し、優れた性能を示す領域に探索が集中する。
• 本手法は初期集団を100～1,000個の解で開始し、複数の世代にわたりモデルを反復的に更新することで、必要なシミュレーション総数を削減する。
• SPEAR3保存リング格子を対象とし、同時にダイナミックアパーチャーとモーメンタムアパーチャーを最大化するセクシュプル・ノブ設定を最適化する。

実験結果

リサーチクエスチョン

• RQ1 反復的に新しいシミュレーション結果を用いて訓練されるニューラルネットワークサーモンモデルは、保存リングの非線形ダイナミクス最適化において、パレート最適解への収束を高速化できるか？
• RQ2 反復的サーモンベース最適化の性能は、NSGA-II や粒子群最適化（PSO）といった既存の確率的アルゴリズムと比較して、シミュレーション効率の面でどのように異なるか？
• RQ3 初期集団サイズとモデルアンサンブルサイズが、高次元かつ非線形な最適化における収束速度と解の品質に与える影響は何か？
• RQ4 サーモンモデルは、セクシュプル・ノブ設定とビームダイナミクス性能指標との間の複雑な非線形関係を効果的に捉えることができるか？

主な発見

• ニューラルネットワークサーモン手法は、わずか2,000回のシミュレーション評価で、ダイナミックアパーチャー約12.5 mm、モーメンタムアパーチャー2.5%のパレート最適解に収束した。
• 集団サイズ1,000を用いた場合、2世代目で最適性能に到達し、NSGA-II や粒子群最適化（PSO）よりも少ない評価回数で優れた性能を示した。
• 集団サイズ200を用いた場合、10世代（合計2,200回の評価）を要したが、依然としてNSGA-II やPSOが10,000回の評価を要した最終解を上回った。
• ニューラルネットワーク手法による最終解は、ダイナミックアパーチャーがより高い領域にまで拡張されており、わずかなモーメンタムアパーチャーのトレードオフを伴うが、探索の優位性が示された。
• アンサンブルニューラルネットワーク手法は、単一モデルに比べて予測の信頼性が高く、分散が小さく、最適化の安定性が向上した。
• 物理シミュレーションに比べてニューラルネットワークの学習コストは無視できるほど低く、全体として極めて高い効率性を発揮した。