[論文レビュー] Neural Combinatorial Optimization with Heavy Decoder: Toward Large Scale Generalization

Fu Luo, Xi Lin+3 more|arXiv (Cornell University)|Oct 12, 2023

Vehicle Routing Optimization Methods被引用数 20

ひとこと要約

LEHDを導入する。Light EncoderとHeavy Decoderモデルを用い、構築時にノード間の関係を動的に更新して大規模なTSPおよびCVRPへのニューラル組合せ最適化を一般化する。データ効率的な教師あり方式で訓練し、推論時にはRandom Re-Constructで解を改善する。

ABSTRACT

Neural combinatorial optimization (NCO) is a promising learning-based approach for solving challenging combinatorial optimization problems without specialized algorithm design by experts. However, most constructive NCO methods cannot solve problems with large-scale instance sizes, which significantly diminishes their usefulness for real-world applications. In this work, we propose a novel Light Encoder and Heavy Decoder (LEHD) model with a strong generalization ability to address this critical issue. The LEHD model can learn to dynamically capture the relationships between all available nodes of varying sizes, which is beneficial for model generalization to problems of various scales. Moreover, we develop a data-efficient training scheme and a flexible solution construction mechanism for the proposed LEHD model. By training on small-scale problem instances, the LEHD model can generate nearly optimal solutions for the Travelling Salesman Problem (TSP) and the Capacitated Vehicle Routing Problem (CVRP) with up to 1000 nodes, and also generalizes well to solve real-world TSPLib and CVRPLib problems. These results confirm our proposed LEHD model can significantly improve the state-of-the-art performance for constructive NCO. The code is available at https://github.com/CIAM-Group/NCO_code/tree/main/single_objective/LEHD.

研究の動機と目的

• 既存の構成的NCOモデルが大規模問題へ一般化する際の一般化能力の不足を解決する。
• 解決策を動的にノード間の関係をモデル化するLEHDアーキテクチャを提案する。
• 不完全解を含む部分解の増強を用いたデータ効率的な教師付き訓練を開発する。
• 推論の枠内で解を洗練させるための柔軟な推論改善機構（Random Re-Construct）を導入する。

提案手法

• Light Encoder and Heavy Decoder (LEHD) アーキテクチャ。軽量エンコーダは1つのアテンション層を、重デコーダはL個のアテンション層を持つ。
• デコーディング中、各手順で開始ノード、目的地ノード、利用可能なノードを動的に再埋め込みして、スケールに依存しない関係を捕捉する。
• 部分解をランダムなサイズと方向で構築する教師付きスキームで訓練する（部分解の構築を学ぶ）。
• グリーディ推論とRandom Re-Construct (RRC) を組み合わせて、予算内で解を反復的に改善する。
• LEHDを古典的ソルバーや複数のNCOベースラインと比較する。対象はTSPとCVRPで、ノード数は最大1000までのスケール。

実験結果

リサーチクエスチョン

• RQ1 LEHDは小規模な訓練から大規模なTSP/CVRPインスタンス（最大1000ノード）へ、問題特化の調整なしに一般化できるか。
• RQ2 動的な重デコーダは構成的NCOにおいて、構造的なNCOの一般化を重エンコーダ設計よりも改善するか。
• RQ3 部分解の増強によるデータ効率的な教師付き訓練は、この設定でRLベースのアプローチに匹敵するまたはそれを上回るか。
• RQ4 Random Re-Constructは固定された推論予算内で解の品質を確実に改善するか。

主な発見

• LEHDは大規模なTSP/CVRPへの堅牢な一般化を達成し、最大1000ノードまでの解法を競争力のあるギャップで解く。
• 1000 RCCイテレーションで、LEHDはTSP1000でほぼ最適ギャップ、CVRP1000で特定の予算下で1%未満のギャップを達成。
• LEHDは複数の学習ベースラインを上回ることができ、十分なRCCイテレーションがあればCVRP2xx–CVRP5xxでもLKH3に対抗できる。
• RRCおよび部分解訓練は、POMOやランダムサンプリング手法よりも優れた性能に寄与する。
• アブレーションにより、大規模インスタンスの一般化において重デコーダ設計の利点が明らかになる。