[論文レビュー] Neural Simulated Annealing

Alvaro H. C. Correia, Daniel E. Worrall+1 more|arXiv (Cornell University)|Mar 4, 2022

Optimization and Packing Problems被引用数 5

ひとこと要約

本稿では、軽量で等長性を持つニューラルネットワークを用いて提案分布を学習する強化学習を統合した、ニューラルシミュレーテッドアニーリング（Neural SA）を提案する。シミュレーテッドアニーリングをマルコフ決定過程として定式化することで、多様な組合せ最適化問題において収束速度が向上し、解の品質も向上する。従来のSAを上回り、市販のソルバーよりも同等または上回る性能を発揮する。さらに、学習時に使用したインスタンスよりも最大40倍大きな問題に対して、最小限の計算コストで一般化が可能である。

ABSTRACT

Simulated annealing (SA) is a stochastic global optimisation technique applicable to a wide range of discrete and continuous variable problems. Despite its simplicity, the development of an effective SA optimiser for a given problem hinges on a handful of carefully handpicked components; namely, neighbour proposal distribution and temperature annealing schedule. In this work, we view SA from a reinforcement learning perspective and frame the proposal distribution as a policy, which can be optimised for higher solution quality given a fixed computational budget. We demonstrate that this Neural SA with such a learnt proposal distribution, parametrised by small equivariant neural networks, outperforms SA baselines on a number of problems: Rosenbrock's function, the Knapsack problem, the Bin Packing problem, and the Travelling Salesperson problem. We also show that Neural SA scales well to large problems - generalising to significantly larger problems than the ones seen during training - while achieving comparable performance to popular off-the-shelf solvers and other machine learning methods in terms of solution quality and wall-clock time.

研究の動機と目的

• シミュレーテッドアニーリングにおける手動によるハイパーパrameterチューニング、特に近隣候補分布や温度スケジュールの課題に対処すること。
• 高価なエンドツーエンドのニューラルアーキテクチャに依存せずに、組合せ最適化における収束速度と解の品質を向上させること。
• 学習した方策を、トレーニング時に観測しなかったより大きな問題インスタンスに一般化できること。
• 古典的シミュレーテッドアニーリングの理論的収束保証を維持しつつ、学習可能なコンponentsで性能を向上させること。
• 現実の最適化問題に広く適用可能で、軽量かつ迅速にトレーニング可能なソルバを提供すること。

提案手法

• 本稿では、シミュレーテッドアニーリングをマルコフ決定過程（MDP）として定式化し、提案分布を強化学習により最適化する方策とみなす。
• 方策は、小さな等長性を持つニューラルネットワークでパrameter化され、現在の解の状態に基づいて移動（例：TSPにおける2-optスワップ）を選択する。
• 方策はPPOや進化的戦略（ES）などのポリシー最適化アルゴリズムを用いて訓練され、解の品質の向上に基づくスパarsな報酬が使用される。
• メトロポリス・ハスティングスの受容基準を維持することで、標準的なSAが持つ理論的収束保証が保たれる。
• フレームワークは側面情報の条件付けをサポートし、短いロールアウトで小さな問題インスタンス上でトレーニング可能であり、これにより大きなインスタンスへの一般化が可能である。
• ステップごとの計算コストはO(N)であり、Nが大きくてもスケーラブルで効率的である。

実験結果

リサーチクエスチョン

• RQ1 学習された提案分布は、多様な最適化問題において、手作業で設計されたものよりも収束速度と解の品質で優れているか？
• RQ2 小さな問題インスタンスでトレーニングされたニューラル方策は、はるかに大きなインスタンスにどの程度一般化できるか？
• RQ3 強化学習をシミュレーテッドアニーリングに統合しても、その理論的収束保証が保たれつつ性能が向上するか？
• RQ4 Neural SAの性能は、最先端の市販ソルバーや他の組合せ最適化のための機械学習（ML4CO）手法と比較して、解の品質とウォールクロックタイムの両面で優れているか？
• RQ5 大規模なデータや複雑なアーキテクチャを必要としない、軽量でパラメータ数が少ないニューラルネットワークが、強力な性能を発揮できるか？

主な発見

• Neural SAは、ローゼンブロック関数、ナップサック問題、バインパッキング、TSPを含むすべてのベンチマーク問題で、従来のシミュレーテッドアニーリングを上回った。ハイパーパrameterチューニングも最小限に抑えられた。
• すべての問題で、グローバル最小値から数パcentポイント以内の解の品質を達成し、広く使われるハイパーパrameterを多く必要とする最先端のSA変種と同等またはそれを上回った。
• Neural SAは、トレーニング時に使用したインスタンスよりも最大40倍大きな問題に、効果的に一般化でき、強力なゼロショット一般化能力を示した。
• Neural SAの受容率は、古典的期待値の0.44を上回っており、これは改善された探索効率を示唆している。
• パラメータ数が数百程度であり、小さなインスタンスからの一般化が有効であったため、トレーニングはPPOでは数分、ESでは数時間で完了した。
• TSPにおいてはPPOが一般化性能でESを上回ったが、greedy推論下ではESがより高いロバスト性を示した。両手法とも、従来のSAを上回る受容率を達成した。