[논문 리뷰] Substochastic Monte Carlo Algorithms

Michael Jarret, Brad Lackey|arXiv (Cornell University)|2017. 04. 28.

Computability, Logic, AI Algorithms참고 문헌 10인용 수 3

한 줄 요약

이 논문은 조합 최적화 문제를 해결하기 위해 복수의 워커가 부분확률 동역학에 따라 진화하는 방식을 시뮬레이션하는 일반적인 고전적 최적화 알고리즘인 Substochastic Monte Carlo(SMCM)을 소개한다. SSMC는 Go-With-The-Winners(GWW)보다 지수적으로 빠르며, 이를 유도한 양자 안내 알고리즘을 능가하는 것으로 밝혀졌고, 일반적인 검색 공간에서의 편향에 대해 경사 하강법을 수행할 수 있다.

ABSTRACT

In this paper we introduce and formalize Substochastic Monte Carlo (SSMC) algorithms. These algorithms, originally intended to be a better classical foil to quantum annealing than simulated annealing, prove to be worthy optimization algorithms in their own right. In SSMC, a population of walkers is initialized according to a known distribution on an arbitrary search space and varied into the solution of some optimization problem of interest. The first argument of this paper shows how an existing classical algorithm, "Go-With-The-Winners" (GWW), is a limiting case of SSMC when restricted to binary search and particular driving dynamics. Although limiting to GWW, SSMC is more general. We show that (1) GWW can be efficiently simulated within the SSMC framework, (2) SSMC can be exponentially faster than GWW, (3) by naturally incorporating structural information, SSMC can exponentially outperform the quantum algorithm that first inspired it, and (4) SSMC exhibits desirable search features in general spaces. Our approach combines ideas from genetic algorithms (GWW), theoretical probability (Fleming-Viot processes), and quantum computing. Not only do we demonstrate that SSMC is often more efficient than competing algorithms, but we also hope that our results connecting these disciplines will impact each independently. An implemented version of SSMC has previously enjoyed some success as a competitive optimization algorithm for Max-$k$-SAT.

연구 동기 및 목표

• 이진 또는 층상 그래프의 범위를 넘어서 일반 목적의 고전적 최적화 알고리즘으로 Substochastic Monte Carlo(SSMC)를 체계화하는 것.
• SSMC와 Go-With-The-Winners(GWW) 사이의 엄밀한 연결 고리를 확립하여, GWW가 특정 동역학 하에서 SSMC의 극한 경우임을 보여주는 것.
• SSMC가 동일한 안내 스케줄을 사용함에도 불구하고 GWW와 이를 유도한 양자 안내 알고리즘보다 지수적 속도 향상을 달성할 수 있음을 보여주는 것.
• SSMC가 검색 공간 내의 구조적 정보를 자연스럽게 통합하여 국소 최적점과 장벽이 존재하는 복잡한 경로 탐색을 효율적으로 수행할 수 있음을 보여주는 것.
• 트리 구조나 층상 구조에 국한되지 않은 일반 그래프에서 SSMC가 편향에 대해 경사 하강법을 수행할 수 있음을 검증하는 것.

제안 방법

• SSMC는 시간에 따라 변하는 전이 확률 행렬 $ H(t) = a(t)L + b(t)W $ 를 통해 제어되는 연속시간 부분확률 과정을 통해 인구의 워커들이 진화하도록 모델링한다. 여기서 $ L $ 은 그래프 라플라시안이고 $ W $ 는 목적 함수 값 정보를 담은 대각행렬이다.
• 워커가 흡수되면서 사라지면, 살아남은 워커의 복제본으로 대체되는 사망-재생 메커니즘을 통해 과정이 재정규화된다. 이로 인해 인구 수가 유지된다.
• 동역학은 마스터 방정식 $ \frac{d\psi}{dt}(t;y) = -\sum_x H(t)_{y,x} \psi(t;x) $ 를 따르며, 초기 분포 $ \psi_0 $ 가 주어지고, $ \psi(T) $ 에 해가 암묵적으로 포함된다.
• 선형 안내 스케줄을 사용하여 $ a(t) = 1 - t/T $, $ b(t) = t/T $ 로 설정하여, $ L $ 을 통한 구동 동역학과 $ W $ 를 통한 최적화 목표 간의 보간을 수행한다.
• SSMC는 플링엄-비엇 과정 프레임워크를 활용하여 비보존적, 부분확률 확산을 시뮬레이션하여 저에너지 상태에 워커가 집중되도록 한다.
• 시간 매개변수 $ t $ 를 조절함으로써 제어된 내림내림을 가능하게 하여, 무작위 탐색과 유도된 탐색 사이의 균형 조절이 가능하며, 특히 $ t \to 1 $ 에서 효과적이다.

실험 결과

연구 질문

• RQ1 Substochastic Monte Carlo(SSMC)가 Go-With-The-Winners(GWW)의 일반화로 엄밀히 정립될 수 있으며, 어떤 조건에서 GWW로 수렴하는가?
• RQ2 SSMC는 구조적 검색 공간에서 GWW보다 지수적 속도 향상을 달성하는가?
• RQ3 동일한 안내 스케줄을 사용하고 양자 자원 없이도, SSMC가 이를 유도한 양자 안내 알고리즘을 능가할 수 있는가?
• RQ4 일반적인 검색 공간에서 SSMC는 층상 구조나 이진 그래프의 제약을 초월하여 편향에 대한 경사 하강법과 장벽 극복 능력에서 어떻게 성능을 발휘하는가?
• RQ5 SSMC가 에너지 장벽을 효율적으로 넘는 데 어떤 메커니즘이 작용하며, 사망-재생 과정이 이러한 장벽을 넘어선 워커의 지수적 증식을 어떻게 가능하게 하는가?

주요 결과

• 동일한 구동 동역학 하에서 SSMC는 Go-With-The-Winners(GWW)보다 지수적으로 빠르며, 이 속도 향상은 검색 공간 내의 구조적 정보를 효과적으로 활용할 수 있기 때문이다.
• 동일한 안내 스케줄을 사용함에도 불구하고, SSMC는 이를 유도한 양자 안내(QA) 알고리즘보다 지수적으로 빠르며, 더 효과적인 인구 동역학과 편향 활용 덕분이다.
• 이진 검색 공간에 제한되고 특정 구동 동역학을 갖는 조건에서 GWW가 SSMC의 극한 경우임을 엄밀히 증명하여 SSMC의 일반성을 확인한다.
• SSMC는 일반적인 검색 공간에서 편향에 대해 경사 하강법을 수행할 수 있으며, 적절한 조건 하에서 $ t \to 1 $ 에서 하강 에너지 상태로의 전이 확률이 1에 수렴한다.
• 알고리즘은 탐색과 이용 사이의 제어된 균형을 보이며, 국소 최적점이 식별된 후에 내림내림을 연기할 수 있어 글로벌 탐색 능력을 향상시킨다.
• 사망-재생 메커니즘을 통해 SSMC는 높은 장벽을 유한 확률로 횡단할 수 있으며, 이는 복잡한 조합 구조(예: 콤브)에서 장벽을 넘어선 워커의 지수적 증식을 가능하게 한다.