[論文レビュー] HEPGAME and the Simplification of Expressions

Ben Ruijl, J.A.M. Vermaseren+2 more|arXiv (Cornell University)|May 25, 2014

Numerical Methods and Algorithms参考文献 21被引用数 3

ひとこと要約

本論文は、高エネルギー物理学における大規模な多変数多項式の簡略化を最適化するため、動的に減少する探索・活用パラメータを備えた変更版モンテカルロ木探索（MCTS）アルゴリズム、SA-UCTを提案する。この手法は、数値積分の処理時間を最大24倍短縮し、探索定数の有効範囲を10倍以上に拡大することで、ハイパーパramータチューニングのロバスト性を向上させる。

ABSTRACT

Advances in high energy physics have created the need to increase computational capacity. Project HEPGAME was composed to address this challenge. One of the issues is that numerical integration of expressions of current interest have millions of terms and takes weeks to compute. We have investigated ways to simplify these expressions, using Horner schemes and common subexpression elimination. Our approach applies MCTS, a search procedure that has been successful in AI. We use it to find near-optimal Horner schemes. Although MCTS finds better solutions, this approach gives rise to two further challenges. (1) MCTS (with UCT) introduces a constant, $C_p$ that governs the balance between exploration and exploitation. This constant has to be tuned manually. (2) There should be more guided exploration at the bottom of the tree, since the current approach reduces the quality of the solution towards the end of the expression. We investigate NMCS (Nested Monte Carlo Search) to address both issues, but find that NMCS is computationally unfeasible for our problem. Then, we modify the MCTS formula by introducing a dynamic exploration-exploitation parameter $T$ that decreases linearly with the iteration number. Consequently, we provide a performance analysis. We observe that a variable $C_p$ solves our domain: it yields more exploration at the bottom and as a result the tuning problem has been simplified. The region in $C_p$ for which good values are found is increased by more than a tenfold. This result encourages us to continue our research to solve other prominent problems in High Energy Physics.

研究の動機と目的

• 数百万項もの項を含む式の数値積分に数週間もかかる、高エネルギー物理学における計算ボトル neck を解決すること。
• 最適化されたホーナー形式と共通部分式の削減を用いて、大規模な多変数多項式における算術演算の回数を削減すること。
• モンテカルロ木探索（MCTS）の性能とロバスト性を向上させることで、式の簡略化のための性能を改善し、2つの主要な制限要因に対処すること：探索・活用定数 $C_p$ への感受性と、木の下位レベルでの不十分な探索。
• より高速で信頼性の高い複雑な式の簡略化を可能にする手法を開発し、高精度な理論的予測の計算的実行可能性を実現すること。

提案手法

• 本論文は、多変数多項式式における近似的に最適なホーナー形式の探索に、UCT（木への上界付き信頼区間）選択基準を用いたMCTSを適用する。
• 探索パラメータ $C_p$ が反復回数に従って線形に減少するように設計された、UCTの変種、SA-UCTを導入する。この変化により、探索から活用へのシフトが実現される。
• 与えられたホーナー形式に必要な演算回数を推定するための性能評価関数を用い、木探索が低コストの解へと導かれるようにする。
• ベンチマーク用の高エネルギー物理学および数学分野の多項式を用いて、SA-UCTと標準的UCT、ネストドモンテカルロ探索（NMCS）の有効性と計算可能性を比較評価する。
• 結果は将来のリリースに向け、FORM計算代数システムに統合される予定である。
• 可換および非可換変数の両方をサポートするが、非可換部分式や変数の線形結合の処理に対応する拡張も検討されている。

実験結果

リサーチクエスチョン

• RQ1 動的探索・活用パラメータを備えたMCTSは、高エネルギー物理学における大規模な多変数多項式のホーナー形式選択の質とロバスト性を向上させることができるか？
• RQ2 SA-UCTにおける $C_p$ の動的調整は、UCTにおける固定 $C_p$ と比較して収束性と解の質にどのように影響を与えるか？
• RQ3 NMCSはなぜこの分野で効果的にスケーリングできないのか？ そして、アルゴリズムの改良によってその制限を克服できるか？
• RQ4 SA-UCTにおける有効な $C_p$ 値の範囲は、UCTと比較してどの程度拡大されるか？ そして、その影響はチューニング作業にどう現れるか？
• RQ5 SA-UCTは、再帰関係の解法や非可換代数などの、高エネルギー物理学における他の式簡略化問題に一般化可能か？

主な発見

• SA-UCTは、ナイーブなホーナー形式と比較して、ベンチマーク多項式における演算回数を最大24倍まで削減した。
• SA-UCTでは、良好な解が得られる $C_p$ 値の有効範囲が、少なくとも10倍以上に拡大され、ハイパーパramータチューニングが著しく容易になった。
• 探索定数 $C_p$ の動的減少により、探索木の下位レベルでの探索が強化され、後続の反復で解の質が向上した。
• NMCSは理論的には両方の問題に対処できるが、評価関数のコストが非常に高く（1回の評価に6秒）、計算的に実行不可能であることが判明した。
• SA-UCTの性能は、木の更新回数にかかわらず安定しており、$N$ が増加するにつれて近似的なグローバル最小値に収束した。
• 本手法により、実世界の高エネルギー物理学の応用において、数週間かかっていた数値積分処理時間を数日、あるいは数時間にまで短縮できるようになった。