[논문 리뷰] Why Local Search Excels in Expression Simplification

Ben Ruijl, Aske Plaat외 2명|arXiv (Cornell University)|2014. 09. 18.

Data Visualization and Analytics참고 문헌 7인용 수 4

한 줄 요약

이 논문은 고에너지물리학에서 표현 간소화를 위한 최적의 호너 체계를 찾는 데서 확률적 국소 탐색(SLS)이 몬테카를로 트리 탐색(MCTS)을 능가함을 보여준다. 낮은 국소 최소값을 가진 평탄한 상태공간을 활용하여, SLS는 계산 시간과 이웃 구조라는 단 두 개의 파라미터만으로 near-optimal 결과를 도출하며, MCTS보다 최소 10배 빠르게 작동하고, 수치적 통합을 최대 24배 가속화한다.

ABSTRACT

Simplifying expressions is important to make numerical integration of large expressions from High Energy Physics tractable. To this end, Horner's method can be used. Finding suitable Horner schemes is assumed to be hard, due to the lack of local heuristics. Recently, MCTS was reported to be able to find near optimal schemes. However, several parameters had to be fine-tuned manually. In this work, we investigate the state space properties of Horner schemes and find that the domain is relatively flat and contains only a few local minima. As a result, the Horner space is appropriate to be explored by Stochastic Local Search (SLS), which has only two parameters: the number of iterations (computation time) and the neighborhood structure. We found a suitable neighborhood structure, leaving only the allowed computation time as a parameter. We performed a range of experiments. The results obtained by SLS are similar or better than those obtained by MCTS. Furthermore, we show that SLS obtains the good results at least 10 times faster. Using SLS, we can speed up numerical integration of many real-world large expressions by at least a factor of 24. For High Energy Physics this means that numerical integrations that took weeks can now be done in hours.

연구 동기 및 목표

• 보다 단순한 탐색 알고리즘으로 복잡한 파라미터를 가진 방법보다 뛰어난 성능을 낼 수 있는지 확인하기 위해 호너 체계 상태공간의 구조적 특성을 조사한다.
• 수백만 개의 항을 포함하는 다변수 다항식 평가 최적화 문제를 해결한다. 이는 고에너지물리학에서 효율적인 수치적 통합을 요구한다.
• 실세계의 큰 표현에서 수작업으로 튜닝된 MCTS를 대체하기 위해 최소한의 파라미터를 가진 SLS 접근법을 도입하여 성능을 유지하거나 향상시킨다.
• 최적의 호너 체계를 통해 표현을 단순화하여 입자물리학에서의 수치적 통합을 가속화함으로써, 계산 시간을 수주에서 수시간으로 단축시킨다.

제안 방법

• 호너 체계 순서에서 인접한 변수를 교환하는 데 중점을 둔 철저히 설계된 이웃 구조를 가진 확률적 국소 탐색(SLS)을 적용한다.
• 성능 및 수렴 행동 평가를 위해 시뮬레이티드 어닐링을 기초 SLS 변종으로 사용한다.
• 이웃 상태들 간의 연산 수 분포 분석과 국소 최소값의 수를 분석하여 상태공간의 평탄함을 측정한다.
• 최대 770만 개의 연산을 포함하는 실제 고에너지물리학 표현식의 벤치마크 세트를 사용하여 SLS를 MCTS 및 SA-UCT와 비교한다.
• 탐색-이용 균형 상수의 미세조정이 필요 없도록, 반복 횟수(계산 시간)와 이웃 구조라는 두 개의 파라미터만을 튜닝하여 SLS를 최적화한다.
• 최종 SLS 기반 알고리즘을 오픈소스 기호 연산 시스템 FORM의 다음 버전에 구현한다.

실험 결과

연구 질문

• RQ1 복잡한 트리 탐색 알고리즘 대신 기본적인 확률적 국소 탐색(SLS)이 효과적으로 작동할 수 있도록, 호너 체계 상태공간이 충분히 평탄한가?
• RQ2 MCTS가 탐색과 이용을 균형 있게 조절할 수 있음에도 불구하고, SLS가 최적의 호너 체계를 찾는 데서 MCTS와 비슷하거나 더 뛰어난 성능을 낼 수 있는가?
• RQ3 호너 체계 상태공간의 국소 최소값 수가 국소 탐색 알고리즘의 수렴성과 강건성에 어떤 영향을 미치는가?
• RQ4 기존 방법에 비해 SLS가 고에너지물리학에서 큰 표현의 수치적 통합에 있어 계산 시간을 어느 정도 줄일 수 있는가?
• RQ5 성능을 유지하면서도 튜닝 가능한 파라미터 수를 최소화함으로써 SLS를 실세계 적용에 실용적으로 만들 수 있는가?

주요 결과

• 호너 체계 상태공간은 상대적으로 평탄하여, 이웃 상태들 간의 연산 수가 다소만 변동하며, 이는 국소 탐색의 효과성을 뒷받침한다.
• 상태공간에는 국소 최소값이 몇 개뿐이므로, SLS가 낮은 지역에 갇히지 않고 near-optimal 해에 수렴하는 것이 가능하다.
• 15개 이상의 변수를 가진 표현에서 SLS는 MCTS와 비슷하거나 더 뛰어난 결과를 도출하며, 필요한 샘플 수 기준으로 수렴 속도가 10배 이상 빠르다.
• 실세계 표현에서 SLS는 연산 수를 최대 24배까지 줄여주며, 이로 인해 수치적 통합 속도가 최소 24배 가속화된다.
• SLS는 계산 시간과 이웃 구조라는 단 두 개의 파라미터만 필요로 하여, 탐색 상수 $C_p$ 튜닝이 필요한 MCTS보다 훨씬 실용적이고 배포가 용이하다.
• SLS 기반 알고리즘이 오픈소스 기호 연산 시스템 FORM의 다음 버전에 통합되어 고에너지물리학 분야에서 광범위하게 채택될 수 있을 것이다.