[論文レビュー] DIMES: A Differentiable Meta Solver for Combinatorial Optimization Problems

Ruizhong Qiu, Zhiqing Sun+1 more|arXiv (Cornell University)|Oct 8, 2022

Machine Learning and Data Classification被引用数 16

ひとこと要約

DIMESは、解の分布をコン pactな連続空間でパラメータ化することで、安定なREINFORCEベースの学習と大規模並列サンプリングを可能にする微分可能メタソルバーを提案する。TSPおよびMIS問題において大規模スケールで最先端の性能を達成し、真の解が不要で問題固有のヒューリスティクスを用いない状態で、最大10,000ノードのグラフにスケーリング可能である。

ABSTRACT

Recently, deep reinforcement learning (DRL) models have shown promising results in solving NP-hard Combinatorial Optimization (CO) problems. However, most DRL solvers can only scale to a few hundreds of nodes for combinatorial optimization problems on graphs, such as the Traveling Salesman Problem (TSP). This paper addresses the scalability challenge in large-scale combinatorial optimization by proposing a novel approach, namely, DIMES. Unlike previous DRL methods which suffer from costly autoregressive decoding or iterative refinements of discrete solutions, DIMES introduces a compact continuous space for parameterizing the underlying distribution of candidate solutions. Such a continuous space allows stable REINFORCE-based training and fine-tuning via massively parallel sampling. We further propose a meta-learning framework to enable the effective initialization of model parameters in the fine-tuning stage. Extensive experiments show that DIMES outperforms recent DRL-based methods on large benchmark datasets for Traveling Salesman Problems and Maximal Independent Set problems.

研究の動機と目的

• NP困難な組合せ最適化問題に対する従来の深層強化学習（DRL）ソルバーのスケーラビリティ制限に対処する。これらは通常、数100ノードを超えると失敗する。
• 自己回帰的DRLソルバーにおける報酬の疎らさと高いデコードコストを克服するため、解の分布の連続的で微分可能なパラメータ化を導入する。
• 各グラフを別々のタスクとみなす新しいメタラーニングフレームワークを用いて、モデルパラメータの有効なファインチューニングを可能にする。
• 教師ありデータや手作業で設計されたヒューリスティクスに依存せずに、局所的に分解可能な問題（例：MIS）および非分解可能な問題（例：TSP）の両方で強力な性能を達成する。

提案手法

• 候補解の分布をコン pactな連続空間でパラメータ化することで、微分可能なサンプリングと安定なREINFORCEベースのポリシー勾配更新を可能にする。
• モデルパラメータθのワンショット生成を用いて、有効な部分解を段階的に構築する自己回帰的ポリシーを定義する。
• ポリシーの勾配分散を低減し、学習安定性を向上させるために、オンポリシーで大規模並列サンプリングを用いたREINFORCEアルゴリズムを適用する。
• 各組合せ最適化（CO）問題インスタンスをタスクとみなすメタラーニングフレームワークを導入し、ファインチューニング時のモデルパラメータの有効な初期化を可能にする。
• 自己回帰構造を活用して、部分解を段階的に成長させ、有効な移動の上での学習済みポリシーにより妥当性を保証する。
• 整数変数をビット列に二値化することで、MIPのような多値問題に対してもフレームワークを適応可能にする。

実験結果

リサーチクエスチョン

• RQ1 解の分布の微分可能で連続的なパラメータ化は、組合せ最適化問題におけるスケーラブルな学習と推論を可能にするか？
• RQ2 提案されたメタラーニング戦略は、多様なCO問題インスタンスにわたるモデルの一般化性能およびファインチューニング性能をどのように向上させるか？
• RQ3 真の解が与えられない強化学習ソルバーが、大規模TSPおよびMIS問題において、教師ありおよびヒューリスティクスベースラインをどれほど上回るか？
• RQ4 連続的パラメータ化により、自己回帰的DRLソルバーの限界を超えて、数万ノードのグラフへのスケーリングが可能になるか？

主な発見

• DIMESは、大規模TSPベンチマークデータセットにおいて、最近のDRLベースのソルバーを上回り、最大10,000ノードのグラフで近似的最適解を達成した。
• 最大独立集合（MIS）問題において、専用のニューラルソルバーと比較して競争力のある結果を達成し、大規模なER-[9000-11000]グラフにおいて、教師ありベースラインであるIntelを上回った。
• 多数の先行DRLソルバーが数100ノード程度でスケーリングに失敗する中、DIMESは数万ノードのグラフに対してもスケーリングに成功した。
• 真の解の監視なしに、報酬信号からのREINFORCEベースのポリシー勾配にのみ依存して、強力な性能を達成した。
• メタラーニングフレームワークにより、より速く効果的なファインチューニングが可能となり、多様な問題インスタンスにわたる一般化性能が向上した。
• 汎用性の高さにもかかわらず、LwDは局所的に分解可能な問題に特化した並列予測を用いるため、大規模MISにおいてDIMESを下回った。これは、汎用性と効率性のトレードオフを示している。