[論文レビュー] Nonequilibrium Monte Carlo for unfreezing variables in hard combinatorial optimization

Masoud Mohseni, Daniel Eppens+8 more|arXiv (Cornell University)|Nov 26, 2021

Machine Learning in Materials Science被引用数 14

ひとこと要約

本稿では、局所的に学習された信念伝播を用いて集団的変数相関を検出し、空間的に不均一な熱揺らぎを適用することで、困難な組合せ最適化問題における凍結変数の非凍結を効率的に行う、量子にインspiredされた適応的非局所MCMCアルゴリズムである非平衡モンテカルロ（NMC）を提案する。NMCは、最も困難なランダム4-SATインスタンスの上位10%において、サーベイプロパゲーション（SP）よりも最大2桁の改善を達成し、適応的並列温度法（APT）と比較して時間対解法を2桁短縮する。

ABSTRACT

Optimizing highly complex cost/energy functions over discrete variables is at the heart of many open problems across different scientific disciplines and industries. A major obstacle is the emergence of many-body effects among certain subsets of variables in hard instances leading to critical slowing down or collective freezing for known stochastic local search strategies. An exponential computational effort is generally required to unfreeze such variables and explore other unseen regions of the configuration space. Here, we introduce a quantum-inspired family of nonlocal Nonequilibrium Monte Carlo (NMC) algorithms by developing an adaptive gradient-free strategy that can efficiently learn key instance-wise geometrical features of the cost function. That information is employed on-the-fly to construct spatially inhomogeneous thermal fluctuations for collectively unfreezing variables at various length scales, circumventing costly exploration versus exploitation trade-offs. We apply our algorithm to two of the most challenging combinatorial optimization problems: random k-satisfiability (k-SAT) near the computational phase transitions and Quadratic Assignment Problems (QAP). We observe significant speedup and robustness over both specialized deterministic solvers and generic stochastic solvers. In particular, for 90% of random 4-SAT instances we find solutions that are inaccessible for the best specialized deterministic algorithm known as Survey Propagation (SP) with an order of magnitude improvement in the quality of solutions for the hardest 10% instances. We also demonstrate two orders of magnitude improvement in time-to-solution over the state-of-the-art generic stochastic solver known as Adaptive Parallel Tempering (APT).

研究の動機と目的

• 困難な組合せ最適化問題における確率的局所探索におけるクリティカルスローニングと集団的凍結を解決すること。
• 多モードエネルギー・ランドスケープにおける凍結変数領域を探索する際の指数的計算コストを克服すること。
• 目的関数のインスタンス固有の幾何的特徴を学習して非局所更新を誘導する、物理学にインspiredされた適応的アルゴリズムを開発すること。
• 4-SATやQAPのような困難な問題において、特殊化された決定的ソルバーと一般化された確率的ソルバーの両方に対して顕著な高速化とロバストネスを達成すること。
• 学習されたバックボーン構造に基づいて不均一な熱揺らぎを構築することで、未到達の設定空間領域の効率的探索を可能にすること。

提案手法

• 局所的代理ハミルトニアン上で局所的信念伝播（LBP）を用い、変数間の集団的相関およびバックボーン構造を同定する。
• LBPによって学習されたインスタンス固有の幾何的特徴に基づいて、MCMC更新における空間的に不均一な熱揺らぎを構築する。
• エネルギー障壁を特定的に平坦化するが、他のランドスケープ特徴を消失させない、適応的で非局所的な動きを用いた非平衡MCMCを適用する。
• 複数のスケールにわたる探索と活用のバランスを取るために、LBPと非局所MCMCを適応的に連携させる。
• 対称性や構造に関する事前仮定を必要とせず、問題固有の相関関係を学習・適用する勾配フリー戦略を採用する。
• システムサイズに線形にスケーリングする低計算コストオーバーヘッド（5–20%）を維持し、実用的導入を可能にする。

実験結果

リサーチクエスチョン

• RQ1 エネルギー・ランドスケープの学習された幾何的特徴に基づく非局所MCMC戦略は、困難な組合せ最適化問題において、局所的確率的ソルバーを上回ることができるか？
• RQ2 適応的でインスタンス固有の不均一な熱揺らぎは、多モード最適化問題における時間対解法をどの程度短縮できるか？
• RQ3 NMCアルゴリズムは、ハードなランダム4-SATインスタンスを解く際、特殊化ソルバー（サーベイプロパゲーション）と比較してどのように性能を発揮するか？
• RQ4 グローバルな問題構造に依存せずに、メタ安定状態に閉じ込められた変数を効果的に非凍結できるか？
• RQ5 大規模最適化において、局所的信念伝播と非局所MCMCを統合する際のスケーラビリティと計算コストオーバーヘッドは何か？

主な発見

• ランダム4-SATインスタンスの90%において、NMCは最良の特殊化決定的ソルバー（サーベイプロパゲーション：SP）が到達できない解を発見する。
• 4-SATインスタンスで最も困難な上位10%において、NMCはSPよりも解の質を1〜2桁向上させる。
• 状態の最良の一般化確率的ソルバー（適応的並列温度法：APT）と比較して、NMCは時間対解法を2桁短縮する。
• 局所的MCMC戦略（APT）との性能差は、モンテカルロスイープ数が増えるにつれて拡大しており、より大規模で困難な問題においてより顕著な利点を示す。
• LBPサブルーチンによる計算コストオーバーヘッドは5%〜20%に留まり、システムサイズに線形にスケーリングするため、大規模インスタンスへの実用的適用が可能である。
• 学習されたバックボーン構造に従って誘導される非局所更新を構築することで、従来到達不可能だった設定空間の盆地の効率的探索が可能になる。