[論文レビュー] DeepACO: Neural-enhanced Ant Systems for Combinatorial Optimization

Haoran Ye, Jiarui Wang+3 more|arXiv (Cornell University)|Sep 25, 2023

Metaheuristic Optimization Algorithms Research被引用数 23

ひとこと要約

DeepACO は、問題特有のヒューリスティック指標を深層強化学習を通じて学習し、それらを用いて解法構築と局所探索をガイドする。 eight COPs において、従来の ACO を上回り、問題特異の NCO 手法と同等の性能を発揮する一般的なニューラル拡張型 ACO フレームワークである。

ABSTRACT

Ant Colony Optimization (ACO) is a meta-heuristic algorithm that has been successfully applied to various Combinatorial Optimization Problems (COPs). Traditionally, customizing ACO for a specific problem requires the expert design of knowledge-driven heuristics. In this paper, we propose DeepACO, a generic framework that leverages deep reinforcement learning to automate heuristic designs. DeepACO serves to strengthen the heuristic measures of existing ACO algorithms and dispense with laborious manual design in future ACO applications. As a neural-enhanced meta-heuristic, DeepACO consistently outperforms its ACO counterparts on eight COPs using a single neural architecture and a single set of hyperparameters. As a Neural Combinatorial Optimization method, DeepACO performs better than or on par with problem-specific methods on canonical routing problems. Our code is publicly available at https://github.com/henry-yeh/DeepACO.

研究の動機と目的

• ACO におけるヒューリスティック設計の自動化を促進し、手動の設計工学を削減する。
• COP を横断して転用可能な、インスタンス特有のヒューリスティクを学習する汎用ニューラルモジュールを開発する。
• 学習したヒューリスティクを ACO の構築と局所探索に統合して解を改善する。
• ヒートマップベースの NCO 手法における探索と活用のバランスを取る拡張を提供する。

提案手法

• COP のインスタンスをすべての解要素のヒューリスティック指標へ写像するグラフニューラルネットワーク（GNN）を導入する。
• 学習済みヒューリスティクを用いて ACO フレームワーク内で解の構築にバイアスをかけ、標準フェロモン更新を用いる。
• 直接的な構築品質と NLS で refinement された解を組み合わせた REINFORCE ベースの目的関数を用いて、インスタンス間でヒューリスティック学習器を訓練する（Eq. 4）。
• 局所最適解から脱出し探索を改善するために、局所探索とニューラル誘導摂動（NLS）を挿入する。
• 探索を強化する3つの拡張を提示する：KL発散損失を用いたマルチヘッドデコーダ、トップ-kエントロピー損失、模倣損失。
• routing, assignment, scheduling, subset の eight COPs に across: これらは適切な固有名詞のまま、ハイライトは文中で翻訳される。

実験結果

リサーチクエスチョン

• RQ1 単一のニューラルアーキテクチャで、さまざまな COPs にわたって ACO を導く効果的な問題特有のヒューリスティックを学習できるか。
• RQ2 ニューラル強化が、 routing、scheduling、subset 問題において、従来の ACO とニューラル組合せ最適化（NCO）の両方の性能を向上させるか。
• RQ3 拡張（multihead、entropy、imitation）は探索を改善しつつ探索の活用を犠牲にしないか。
• RQ4 標準的なルーティング問題で問題特異の NCO 手法と、 eight COPs での ACO ベースラインと比較して、DeepACO はどうか。
• RQ5 新しい COP に対して専門家が設計したヒューリスティックを必要とせず、学習されたヒューリスティック空間が十分にコンパクトか。

主な発見

• DeepACO は、単一のニューラルアーキテクチャとハイパーパラメータで、 eight COPs 全体でベースライン ACO バリアントを一貫して上回る。
• DeepACO は標準的な routing 問題で問題特異の NCO 手法と競合するか、上回る。
• 3つの拡張設計（multihead、top-k entropy loss、imitation loss）は、小規模な COPs で探索と性能を向上させる。
• DeepACO はハイパーパラメータに対して頑健で、インスタンスのスケールと分布を越えて一般化する。
• Neural-guided perturbation と統合 LS は、学習されたヒューリスティクと組み合わせた場合解の品質を向上させる。