[논문 리뷰] Nonequilibrium Monte Carlo for unfreezing variables in hard combinatorial optimization

Masoud Mohseni, Daniel Eppens외 8명|arXiv (Cornell University)|2021. 11. 26.

Machine Learning in Materials Science인용 수 14

한 줄 요약

이 논문은 경량화된 비평형 몽테카를로(Nonequilibrium Monte Carlo, NMC)를 소개한다. NMC는 양자역학적 영감을 얻은 적응형 비국소적 MCMC 알고리즘으로, 局부적으로 학습된 믿음 전파( belief propagation)를 사용해 공통 변수 상관관계를 탐지하고, 공간적으로 비균일한 열진동을 적용하여 어려운 조합 최적화 문제에서 굳어진 변수들을 효율적으로 해동한다. 무작위 4-SAT 문제의 가장 어려운 10퍼센트에 대해, NMC는 Survey Propagation(SP)에 비해 해의 질을 최대 두 계단 정도 향상시키며, Adaptive Parallel Tempering(APT)에 비해 해에 도달하는 데 소요되는 시간을 두 계단 정도 감소시킨다.

ABSTRACT

Optimizing highly complex cost/energy functions over discrete variables is at the heart of many open problems across different scientific disciplines and industries. A major obstacle is the emergence of many-body effects among certain subsets of variables in hard instances leading to critical slowing down or collective freezing for known stochastic local search strategies. An exponential computational effort is generally required to unfreeze such variables and explore other unseen regions of the configuration space. Here, we introduce a quantum-inspired family of nonlocal Nonequilibrium Monte Carlo (NMC) algorithms by developing an adaptive gradient-free strategy that can efficiently learn key instance-wise geometrical features of the cost function. That information is employed on-the-fly to construct spatially inhomogeneous thermal fluctuations for collectively unfreezing variables at various length scales, circumventing costly exploration versus exploitation trade-offs. We apply our algorithm to two of the most challenging combinatorial optimization problems: random k-satisfiability (k-SAT) near the computational phase transitions and Quadratic Assignment Problems (QAP). We observe significant speedup and robustness over both specialized deterministic solvers and generic stochastic solvers. In particular, for 90% of random 4-SAT instances we find solutions that are inaccessible for the best specialized deterministic algorithm known as Survey Propagation (SP) with an order of magnitude improvement in the quality of solutions for the hardest 10% instances. We also demonstrate two orders of magnitude improvement in time-to-solution over the state-of-the-art generic stochastic solver known as Adaptive Parallel Tempering (APT).

연구 동기 및 목표

• 어려운 조합 최적화 문제의 스트로스틱 로컬 서치에서 발생하는 비효율적 냉각 현상과 집단적 굳어짐 현상을 해결한다.
• 다중 모달 에너지 표면에서 굳어진 변수 영역을 탐색하는 데 기하급수적인 계산 비용을 초월하는 문제를 해결한다.
• 비용 함수의 인스턴스별 기하학적 특징을 학습하여 비국소적 업데이트를 안내하는 물리학적 영감을 얻은 적응형 알고리즘을 개발한다.
• 4-SAT 및 QAP와 같은 어려운 문제에서 전문화된 결정론적 해법과 일반적인 스트로스틱 해법보다 뚜렷한 속도 향상과 강건성을 달성한다.
• 학습된 뼈대 구조를 바탕으로 비균일한 열진동을 구성하여 이전에 도달하지 못했던 구성 공간 영역을 효율적으로 탐색할 수 있도록 한다.

제안 방법

• 국소화된 대체 해밀토니안에 국소 믿음 전파(LBP)를 적용하여 변수 간의 집단적 상관관계와 뼈대 구조를 식별한다.
• LBP를 통해 학습된 인스턴스별 기하학적 특징을 바탕으로 MCMC 업데이트에서 공간적으로 비균일한 열진동을 구성한다.
• 에너지 장벽을 선택적으로 낮추되 다른 표면 특징은 유지하는 적응형 비국소적 이동을 포함한 비평형 MCMC를 적용한다.
• 다양한 길이 척도에서 탐색과 이용의 균형을 이루는 LBP와 비국소적 MCMC 간의 적응형 상호작용을 구현한다.
• 대칭성이나 구조에 대한 사전 가정 없이 문제에 특화된 상관관계를 학습하고 적용하기 위한 기울기 없는 전략을 활용한다.
• 시스템 크기에 비례하여 선형적으로 증가하는 저비용 오버헤드(5~20%)를 유지하여 실용적인 구현을 가능하게 한다.

실험 결과

연구 질문

• RQ1 에너지 표면의 학습된 기하학적 특징에 기반한 비국소적 MCMC 전략이 어려운 조합 최적화 문제에서 국소 스트로스틱 해법을 능가할 수 있는가?
• RQ2 적응형이고 인스턴스별로 설정된 비균일한 열진동은 다중 모달 최적화 문제에서 해에 도달하는 데 걸리는 시간을 어느 정도 감소시킬 수 있는가?
• RQ3 NMC 알고리즘은 무작위 4-SAT 문제의 어려운 인스턴스를 해결할 때 전문화된 해법인 Survey Propagation(SP)에 비해 어떻게 비교되는가?
• RQ4 전체 문제의 구조에 의존하지 않고도 메타안정 상태에 갇힌 변수들을 효과적으로 해동할 수 있는가?
• RQ5 대규모 최적화 문제에서 국소 믿음 전파와 비국소적 MCMC를 통합할 경우의 확장성과 계산 오버헤드는 어떠한가?

주요 결과

• 무작위 4-SAT 인스턴스의 90퍼센트에 대해 NMC는 최고의 전문화된 결정론적 해법인 Survey Propagation(SP)가 접근하지 못하는 해를 찾는다.
• 4-SAT 문제의 가장 어려운 10퍼센트에 대해 NMC는 SP에 비해 해의 질을 한 계단에서 두 계단 정도 향상시킨다.
• NMC는 최신 기술의 일반적인 스트로스틱 해법인 Adaptive Parallel Tempering(APT)에 비해 해에 도달하는 데 걸리는 시간을 두 계단 정도 감소시킨다.
• NMC가 국소 MCMC 전략인 APT에 비해 성능 향상이 더 크게 나타나는 것은 몬테카를로 스위프의 수가 증가할수록 더욱 두드러지며, 이는 더 큰, 더 어려운 문제에서 더 큰 이점을 제공함을 시사한다.
• LBP 서브루틴은 시스템 크기에 비례하여 5%에서 20%의 오버헤드만 추가하며, 이는 대규모 인스턴스에 대한 실용적 적용을 가능하게 한다.
• 학습된 뼈대 구조를 기반으로 한 비국소적 업데이트를 구성함으로써, 이전에는 도달하지 못했던 구성 공간의 기저 영역을 효율적으로 탐색할 수 있도록 한다.