[論文レビュー] Why Local Search Excels in Expression Simplification

Ben Ruijl, Aske Plaat+2 more|arXiv (Cornell University)|Sep 18, 2014

Data Visualization and Analytics参考文献 7被引用数 4

ひとこと要約

本論文は、素粒子物理学における式の簡略化のための最適なホーナー体系を見つける際、確率的局所探索（SLS）がモンテカルロ木探索（MCTS）を上回ることを示している。平坦な状態空間で局所的最小値が少ないという特徴を活かし、計算時間と近傍構造の2つのパラメータのみで、MCTSよりも少なくとも10倍速く、数値積分を最大24倍速くする近似的最適な結果を達成している。

ABSTRACT

Simplifying expressions is important to make numerical integration of large expressions from High Energy Physics tractable. To this end, Horner's method can be used. Finding suitable Horner schemes is assumed to be hard, due to the lack of local heuristics. Recently, MCTS was reported to be able to find near optimal schemes. However, several parameters had to be fine-tuned manually. In this work, we investigate the state space properties of Horner schemes and find that the domain is relatively flat and contains only a few local minima. As a result, the Horner space is appropriate to be explored by Stochastic Local Search (SLS), which has only two parameters: the number of iterations (computation time) and the neighborhood structure. We found a suitable neighborhood structure, leaving only the allowed computation time as a parameter. We performed a range of experiments. The results obtained by SLS are similar or better than those obtained by MCTS. Furthermore, we show that SLS obtains the good results at least 10 times faster. Using SLS, we can speed up numerical integration of many real-world large expressions by at least a factor of 24. For High Energy Physics this means that numerical integrations that took weeks can now be done in hours.

研究の動機と目的

• 最適なホーナー体系の探索が可能かどうかを判断するため、ホーナー体系の状態空間の構造的性質を調査すること。
• 数百万の項を含む多変数多項式の評価を最適化する課題に取り組むこと。この場合、効率的な数値積分が求められる。
• 手動で調整されたMCTSに代わる、パラメータを最小限に抑えたSLSアプローチを導入し、実世界の大規模な式において性能を維持または向上させること。
• 最適なホーナー体系による式の簡略化を通じて、素粒子物理学における数値積分の高速化を実現し、計算時間を数週間から数時間に短縮すること。

提案手法

• ホーナー体系の順序における隣接する変数の入れ替えを許容する、洗練された近傍構造を備えた確率的局所探索（SLS）を適用する。
• 性能と収束行動の評価のため、ベースラインとしてシミュレーテッド・アニーリングをSLSの変種として用いる。
• 隣接する状態間での演算回数の分布と局所的最小値の数を分析することで、状態空間の平坦さを測定する。
• 実世界の素粒子物理学の式を含むベンチマークスイート（最大770万回の演算を含む）を用いて、SLSとMCTS、SA-UCTを比較する。
• 探索と活用のバランスを調整する定数の微調整を避けるために、反復回数（計算時間）と近傍構造の2つのパラメータのみをチューニングすることでSLSを最適化する。
• 最終的なSLSベースのアルゴリズムを、次期リリース版のオープンソース記号計算システムFORMに実装する。

実験結果

リサーチクエスチョン

• RQ1 ホーナー体系の状態空間が十分に平坦であるため、複雑な木探索アルゴリズムではなく、基本的な確率的局所探索（SLS）が有効に機能するのか？
• RQ2 MCTSが探索と活用のバランスを取れるという利点を持つにもかかわらず、SLSが最適なホーナー体系をMCTSと同等またはそれを上回る性能で見つけられるか？
• RQ3 ホーナー体系の状態空間における局所的最小値の数が、局所探索アルゴリズムの収束性と頑健性に与える影響はどの程度か？
• RQ4 SLSは、従来の手法と比較して、素粒子物理学における大規模な式の数値積分の計算時間をどの程度短縮できるか？
• RQ5 パラメータのチューニング数を最小限に抑えつつも、高い性能を維持できるようにSLSを実用的なものにできるか？

主な発見

• ホーナー体系の状態空間は相対的に平坦であり、隣接する状態間での演算回数の差がわずかにとどまるため、局所探索の有効性が裏付けられている。
• 状態空間には僅か数個の局所的最小値しかなく、SLSが悪い領域に閉じ込められることなく、近似的最適解に収束することが可能である。
• 15個以上の変数を含む式において、SLSはMCTSと同等またはそれを上回る性能を達成しており、必要なサンプル数の観点から10倍以上も速い収束を示している。
• 実世界の式において、SLSは演算回数を最大24倍まで削減し、数値積分を少なくとも24倍速くすることができる。
• SLSは計算時間と近傍構造の2つのパラメータのみを必要とするため、探索定数 $C_p$ のチューニングが必要なMCTSと比べて、はるかに実用的で導入が容易である。
• SLSベースのアルゴリズムは、次期リリース版のオープンソース記号計算システムFORMに統合され、素粒子物理学分野における広範な採用が可能になる。