[論文レビュー] Exploring Parameter Spaces with Artificial Intelligence and Machine Learning Black-Box Optimisation Algorithms

Fernando Abreu de Souza, Miguel Crispim Romão+3 more|arXiv (Cornell University)|Jun 18, 2022

Dark Matter and Cosmic Phenomena被引用数 4

ひとこと要約

本稿では、物理的観測量の複合コスト関数を最小化することで、cMSSM や pMSSM などの高次元の標準模型を越えた（BSM）パラメータ空間を、CMA-ES、TPE、NSGA-II といったAI/MLアルゴリズムを用いたブラックボックス最適化フレームワークにより、効率的に探索することを提案する。ランダムサンプリングに比べてサンプリング効率が数個のオーダー向上し、同時に妥当なカバー範囲を維持する。特に、CMA-ES は制約付き領域でほぼ1の効率を達成する。

ABSTRACT

Constraining Beyond the Standard Model theories usually involves scanning highly multi-dimensional parameter spaces and check observable predictions against experimental bounds and theoretical constraints. Such task is often timely and computationally expensive, especially when the model is severely constrained and thus leading to very low random sampling efficiency. In this work we tackled this challenge using Artificial Intelligence and Machine Learning search algorithms used for Black-Box optimisation problems. Using the cMSSM and the pMSSM parameter spaces, we consider both the Higgs mass and the Dark Matter Relic Density constraints to study their sampling efficiency and parameter space coverage. We find our methodology to produce orders of magnitude improvement of sampling efficiency whilst reasonably covering the parameter space.

研究の動機と目的

• MSSM におけるような高次元的かつ強く制約されたBSMパラメータ空間の走査において、ランダムサンプリングが低い受容率のため非効率であるという計算上のボトルネックを解消すること。
• 既存のML手法が、しばしば初期段階のBSMモデル探索では入手困難な大規模な事前学習データセットを必要とすることの制限を克服すること。
• BSMパラメータ空間走査をブラックボックス最適化問題に再定式化することで、事前の有効領域の知識がなくても、データ効率的かつ動的かつ柔軟に探索が可能になるようにすること。
• CMA-ES、TPE、NSGA-II といった複数のAI/ML最適化アルゴリズムの、サンプリング効率およびカバー範囲という観点での性能を、さまざまなBSMモデルにおいて評価・比較すること。
• 本フレームワークが、任意の計算ルーチンと制約を備えた任意のBSMモデルに一般化可能であることを示し、背後にある物理学的性質やプログラミング言語に依存しないこと。

提案手法

• 理論的および実験的制約（例：ヒッグス粒子質量、ダークマターの残存密度）を組み合わせたコスト関数を定義することで、BSMパラメータ空間の制約問題をブラックボックス最適化タスクに再定式化する。
• CMA-ES（共分散マトリクス適応進化戦略）、TPE（木構造パルゼン推定器）、NSGA-II（非支配的ソーティング遺伝的アルゴリズムII）という3つのAI/MLベースの最適化アルゴリズムを用いて、パラメータ空間を探索する。
• 各アルゴリズムは、勾配情報が不要なコスト関数のフィードバックに基づき、反復的に新しいパラメータ点を生成する。物理計算器（例：MSSM に対して SARAH を使用）を用いてコスト関数を評価する。
• 探索の設計において、単一制約（ヒッグス粒子質量）と複数制約（ヒッグス粒子質量＋ダークマター残存密度）の両方のシナリオを含め、複雑性の増加に伴うロバストネスと効率性をテストする。
• サンプリング効率（評価あたりに見つかった有効な点の割合）とカバー範囲（探索された有効領域の割合）を指標として用い、ランダムサンプリングをベースラインとして性能を測定する。
• GitLab に公開されたモジュラーかつ再利用可能なコードベースとしてフレームワークを実装し、任意のBSM計算パイプラインおよび制約セットとの統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックス最適化アルゴリズムは、高次元的かつ強く制約されたBSMパラメータ空間において、ランダムサンプリングに比べて著しくサンプリング効率を向上させることができるか？
• RQ2 CMA-ES、TPE、NSGA-II といった異なるAI/ML最適化戦略は、BSMモデル走査において、探索と活用のバランスをどのようにとるのか。また、それらにどのようなトレードオフが現れるか？
• RQ3 これらのアルゴリズムは、有効なパラメータ領域の事前の知識がなくても、大規模な事前学習データセットを必要とせずに動作可能か？
• RQ4 ヒッグス粒子質量とダークマター残存密度といった複数の制約を含めることで、最適化アルゴリズムの性能と収束性にどのような影響が生じるか？
• RQ5 提案されたフレームワークは、MSSMにとどまらず、任意のBSMモデルおよび計算パイプラインに一般化可能か？背後にある物理学的性質や実装言語に依存しないか？

主な発見

• 提案されたブラックボックス最適化フレームワークは、特にパラメータ空間の強く制約された領域において、ランダムサンプリングに比べて数個のオーダーのサンプリング効率の向上を達成する。
• CMA-ES は制約付きシナリオでほぼ1のサンプリング効率を達成し、その適応的かつグリーディな探索戦略のおかげで、有効領域への迅速な収束を示す。
• NSGA-II は探索と活用のバランスの取れたトレードオフを提供し、高次元空間でも効果的であり、次元の呪いに対する耐性を示す。
• TPE は効率の点ではランダムサンプリングと同等であるが、収束が達成された場合にはより良いカバー範囲を提供する。ただし、初期段階での収束失敗時には有効な点を発見するのが困難である。
• 本フレームワークは、実験的制約（例：ヒッグス粒子質量）と理論的境界（例：ダークマター残存密度）の両方を、尤度関数を必要とせずに適切に処理でき、適用範囲を広げる。
• 本手法は汎用的であり、任意のBSMモデルに、任意の計算ルーチンと制約セットを組み合わせて適用可能であることが、cMSSM および pMSSM における最小限の修正で実証された。