[논문 리뷰] HEPGAME and the Simplification of Expressions

Ben Ruijl, J.A.M. Vermaseren외 2명|arXiv (Cornell University)|2014. 05. 25.

Numerical Methods and Algorithms참고 문헌 21인용 수 3

한 줄 요약

이 논문은 고에너지 물리학에서 수천만 개의 항을 포함하는 다변수 다항식을 단순화하기 위해, 탐색-이점 파rameter를 동적으로 감소시키는 수정된 몬테카를로 트리 검색(MCTS) 알고리즘인 SA-UCT을 제안한다. 이 방법은 수치 적분 시간을 최대 24배 감소시키며, 탐색 상수의 유효 범위를 10배 이상 넓혀 초모수 조정의 강건성을 향상시킨다.

ABSTRACT

Advances in high energy physics have created the need to increase computational capacity. Project HEPGAME was composed to address this challenge. One of the issues is that numerical integration of expressions of current interest have millions of terms and takes weeks to compute. We have investigated ways to simplify these expressions, using Horner schemes and common subexpression elimination. Our approach applies MCTS, a search procedure that has been successful in AI. We use it to find near-optimal Horner schemes. Although MCTS finds better solutions, this approach gives rise to two further challenges. (1) MCTS (with UCT) introduces a constant, $C_p$ that governs the balance between exploration and exploitation. This constant has to be tuned manually. (2) There should be more guided exploration at the bottom of the tree, since the current approach reduces the quality of the solution towards the end of the expression. We investigate NMCS (Nested Monte Carlo Search) to address both issues, but find that NMCS is computationally unfeasible for our problem. Then, we modify the MCTS formula by introducing a dynamic exploration-exploitation parameter $T$ that decreases linearly with the iteration number. Consequently, we provide a performance analysis. We observe that a variable $C_p$ solves our domain: it yields more exploration at the bottom and as a result the tuning problem has been simplified. The region in $C_p$ for which good values are found is increased by more than a tenfold. This result encourages us to continue our research to solve other prominent problems in High Energy Physics.

연구 동기 및 목표

• 수천만 개의 항을 포함하는 표현의 수치 적분에 수주가 소요되는 고에너지 물리학 분야의 계산 병목 현상을 해결하기 위해.
• 최적화된 호너 체계와 공통 부분식 제거를 통해 대규모 다변수 다항식의 산술 연산 수를 줄이기 위해.
• 탐색-이점 상수 $C_p$에 대한 민감성과 트리의 하단 수준에서의 부족한 탐색이라는 두 가지 핵심 한계를 해결하여 몬테카를로 트리 검색(MCTS)의 성능과 강건성을 향상시키기 위해.
• 복잡한 표현의 더 빠르고 신뢰할 수 있는 단순화를 가능하게 하여 고정밀도 이론 예측을 계산적으로 실현 가능하게 하는 방법을 개발하기 위해.

제안 방법

• 논문은 다변수 다항식 표현에서 근사 최적의 호너 체계를 탐색하기 위해 UCT(Upper Confidence bound applied to Trees) 선택 기준을 적용한 MCTS를 적용한다.
• 탐색 파rameter $C_p$가 반복 과정에서 선형적으로 감소하는 방식으로 탐색에서 이용하는 것으로, 이는 탐색에서 이용으로의 전환을 가능하게 한다.
• 주어진 호너 체계에 필요한 연산 수를 추정하는 성능 평가 함수를 사용하여 트리 탐색을 더 낮은 비용의 해로 유도한다.
• 기본 UCT와 네스티드 몬테카를로 검색(NMCS)과의 비교를 통해 고에너지 물리학 및 수학 분야의 벤치마크 다항식에서 그 효과성과 계산 가능성을 평가한다.
• 결과는 향후 버전에 포함될 예정인 FORM 컴퓨터 대수 시스템에 통합된다.
• 교환법이 성립하는 변수와 성립하지 않는 변수 모두를 지원하며, 비가환 부분식과 변수 선형 조합 처리를 위한 확장도 고려된다.

실험 결과

연구 질문

• RQ1 동적 탐색-이점 파rameter를 가진 MCTS는 고에너지 물리학에서 대규모 다변수 다항식의 호너 체계 선택 품질과 강건성을 향상시킬 수 있는가?
• RQ2 SA-UCT에서 $C_p$를 동적으로 조정할 경우, 고정된 $C_p$를 사용하는 UCT와 비교해 수렴성과 해 품질에 어떤 영향을 미치는가?
• RQ3 NMCS는 이 도메인에서 효과적으로 스케일업되지 않는 이유는 무엇이며, 알고리즘 수정으로 이를 극복할 수 있는가?
• RQ4 SA-UCT에서 유효한 $C_p$ 값의 범위는 UCT 대비 얼마나 넓어지며, 이는 초모수 조정 노력에 어떤 영향을 미치는가?
• RQ5 SA-UCT는 고에너지 물리학에서의 재귀 관계 해결이나 비가환 대수와 같은 다른 표현 단순화 문제로 일반화될 수 있는가?

주요 결과

• SA-UCT는 난이도 높은 다항식에서 기존의 난이도 높은 호너 체계 대비 최대 24배의 연산 수 감소를 달성한다.
• 좋은 해를 얻을 수 있는 $C_p$ 값의 유효 범위가 SA-UCT에서 최소 10배 이상 넓어져 초모수 조정의 난이도가 크게 감소한다.
• $C_p$의 동적 감소로 인해 탐색 트리의 하단에서 탐색이 향상되어 후속 반복에서 해 품질이 향상된다.
• NMCS는 이론적으로 두 문제 모두를 해결하지만, 평가 함수의 높은 비용(1회 평가에 6초 소요)으로 인해 계산적으로 비현실적이다.
• SA-UCT의 성능는 트리 업데이트 수에 관계없이 강건하며, $N$이 증가함에 따라 안정적으로 근사 전역 최소값으로 수렴한다.
• 실제 고에너지 물리학 응용 분야에서 수주에서 수일 또는 수시간으로 수치 적분 시간을 단축시킬 수 있다.