[論文レビュー] Simulation-guided Beam Search for Neural Combinatorial Optimization

Jinho Choo, Y. Kwon+5 more|arXiv (Cornell University)|Jul 13, 2022

Advanced Neural Network Applications被引用数 21

ひとこと要約

Simulation-guided Beam Search (SGBS) をニューラル組合せ最適化に導入し、ニューラルポリシーの指導とロールアウトを組み合わせ、さらに SGBS を Efficient Active Search (EAS) と結びつけて、TSP、CVRP、FFSP の解の品質を向上させる。

ABSTRACT

Neural approaches for combinatorial optimization (CO) equip a learning mechanism to discover powerful heuristics for solving complex real-world problems. While neural approaches capable of high-quality solutions in a single shot are emerging, state-of-the-art approaches are often unable to take full advantage of the solving time available to them. In contrast, hand-crafted heuristics perform highly effective search well and exploit the computation time given to them, but contain heuristics that are difficult to adapt to a dataset being solved. With the goal of providing a powerful search procedure to neural CO approaches, we propose simulation-guided beam search (SGBS), which examines candidate solutions within a fixed-width tree search that both a neural net-learned policy and a simulation (rollout) identify as promising. We further hybridize SGBS with efficient active search (EAS), where SGBS enhances the quality of solutions backpropagated in EAS, and EAS improves the quality of the policy used in SGBS. We evaluate our methods on well-known CO benchmarks and show that SGBS significantly improves the quality of the solutions found under reasonable runtime assumptions.

研究の動機と目的

• 解く時間を活用するニューラル組合せ最適化のための効率的な推論を動機づける。
• ニューラルポリシーとロールアウトに導かれたビーム探索に似た手順を開発し、解の品質を向上させる。
• SGBS を Efficient Active Search (EAS) とハイブリッド化して、長い時間予算下での性能をさらに向上させる。
• 標準的な CO ベンチマーク（TSP、CVRP、FFSP）で、有力なニューラルおよび手工設計ソルバーと比較して有効性を実証する。

提案手法

• SGBS を、固定幅ツリー上で動作する3段階探索（Expansion、Simulation、Pruning）として定義する。
• Expansion は、ビームノードごとにニューラルポリシー確率に基づいて上位 gamma の子ノードを選択する。
• Simulation は貪欲なロールアウトを実施して候補ノードを評価し、報酬を割り当てる。
• Pruning は、ロールアウト報酬が最も高い上位 beta ノードを保持して探索を継続する。
• Sampling を導くように、SGBS とモデルパラメータ更新を交互に行うことで SGBS と EAS を統合する。
• 問題分布上でポリシーネットワークを事前訓練し、推論時に EAS で微調整して時間予算を活用する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルポリシーをロールアウトベースの評価で補強して、CO問題の構築相の探索を改善するにはどうするか？
• RQ2 固定時間予算下で、シミュレーション-guided beam search は標準のサンプリング、貪欲法、ベーシックなビーム探索より解の品質で上回るか？
• RQ3 SGBS を Efficient Active Search (EAS) と結合することで長期最適化でさらなる利得が得られるか？
• RQ4 分布シフトやモデルのキャリブレーションミスに対して、SGBS および SGBS+EAS の利点は堅牢か？
• RQ5 SGBS および SGBS+EAS は、手作業設計ソルバーや他のニューラル手法と比較して、TSP、CVRP、FFSP で競争力のある性能を達成できるか？

主な発見

• SGBS は TSP、CVRP、FFSP のいずれもで、同等の実行時間内にサンプリングとビーム探索を上回る。
• SGBS+EAS は、TSP および CVRP において、EAS のみと比べて解のギャップを大幅に削減する（例：さまざまな設定でギャップを約3分の1〜2分の1程度削減）。
• CVRP n=100 では、SGBS+EAS は手作業設計ソルバー（例: HGS）に対してテスト時に非常に小さなギャップを達成する（例：0.11% 〜）。
• SGBS は純粋に確率的な方法が劣化する分布シフトの下で頑健性を示す一方、EAS と MCTS は実行時間が遅くなるか、より広範なバックプロパゲーションを要する。
• FFSP では、SGBS+EAS が古典的な CO 手法を大幅に上回り、ニューラルベースラインにも対抗できることを示し、このアプローチの広い適用性を示している。