[論文レビュー] Neural Combinatorial Optimization: a New Player in the Field

Andoni I. Garmendia, Josu Ceberio+1 more|arXiv (Cornell University)|May 3, 2022

Metaheuristic Optimization Algorithms Research被引用数 8

ひとこと要約

本稿では、線形順序問題（LOP）という古典的なNP困難問題におけるエンド・ツー・エンドのニューラル組合せ最適化（NCO）のため、注目メカニズムを備えたグラフニューラルネットワーク（GNN）を提案する。モデルは学習されたノード表現を用いて、段階的に解を構築する際に次に配置するべきアイテムを予測することで、正確な手法やメタヒューリスティクス手法と競争力ある性能を達成するが、データ要件、移行性、スケーラビリティの面での課題も浮き彫りにしている。

ABSTRACT

Neural Combinatorial Optimization attempts to learn good heuristics for solving a set of problems using Neural Network models and Reinforcement Learning. Recently, its good performance has encouraged many practitioners to develop neural architectures for a wide variety of combinatorial problems. However, the incorporation of such algorithms in the conventional optimization framework has raised many questions related to their performance and the experimental comparison with other methods such as exact algorithms, heuristics and metaheuristics. This paper presents a critical analysis on the incorporation of algorithms based on neural networks into the classical combinatorial optimization framework. Subsequently, a comprehensive study is carried out to analyse the fundamental aspects of such algorithms, including performance, transferability, computational cost and generalization to larger-sized instances. To that end, we select the Linear Ordering Problem as a case of study, an NP-hard problem, and develop a Neural Combinatorial Optimization model to optimize it. Finally, we discuss how the analysed aspects apply to a general learning framework, and suggest new directions for future work in the area of Neural Combinatorial Optimization algorithms.

研究の動機と目的

• ニューラル組合せ最適化（NCO）モデルを古典的な組合せ最適化フレームワークに統合する際の批判的評価を目的とする。
• 代表的なNP困難問題におけるエンド・ツー・エンドのNCOモデルの性能、移行性、計算コスト、一般化能力を調査することを目的とする。
• 線形順序問題（LOP）に対してGNNベースのNCOモデルを実装・評価し、事例研究として位置付けることを目的とする。
• 従来の正確なアルゴリズムおよびメタヒューリスティクスアルゴリズムとNCO手法を厳密に比較するためのガイドラインを提供することを目的とする。
• NCOモデルをトラジェクトリーベースのメタヒューリスティクスフレームワーク内での低レベル意思決定モジュールとして活用し、探索効率を向上させることの可能性を検討することを目的とする。

提案手法

• 問題インスタンスを符号化するために、構造的および目的関連の情報を捉えるノード表現を学習する注目メカニズムを備えたグラフニューラルネットワーク（GNN）を用いる。
• 解の構築プロセスの各ステップで、候補アイテムの確率分布を生成し、順序付けに次に配置するべきアイテムの選択をガイドする。
• 最終的な解の目的関数値に基づいてポリシー・ネットワークを最適化するため、強化学習をトレーニングプロセスに採用する。
• モデルは、ランダムに生成されたインスタンスおよび問題固有のインスタンスを含む多様な問題インスタンスで学習させ、データ依存性を評価する。
• LOPベンチマークインスタンス上で、正確なソルバ、古典的な構築ヒューリスティクス、および2つの最先端メタヒューリスティクスと性能を比較評価する。
• トレーニングで使用したインスタンスよりも大きなサイズのインスタンスでモデルを評価することで、移行性および一般化能力をテストし、スケーラビリティとロバストネスを評価する。

実験結果

リサーチクエスチョン

• RQ1 提案されたNCOモデルの性能は、線形順序問題（LOP）において正確なソルバーや最先端メタヒューリスティクスと比べてどうか？
• RQ2 トレーニングデータの量と多様性が、モデルの一般化および未学習インスタンスへの移行性に与える影響は何か？
• RQ3 特に大きな問題サイズにおいて、エンド・ツー・エンドのNCOモデルのトレーニングおよび推論に伴う計算コストは何か？
• RQ4 小さなインスタンスで学習したモデルは、より大きなサイズのインスタンスに対して効果的に一般化できるか？その制限要因は何か？
• RQ5 NCOモデルは、従来のメタヒューリスティクスフレームワーク内での知的で学習可能なコンponentsとして、探索効率を向上させるのにどの程度有効に機能できるか？

主な発見

• 提案されたNCOモデルは競争力ある解の品質を達成しており、古典的な構築ヒューリスティクスを上回り、最先端メタヒューリスティクスの性能に近づいている。
• モデルの性能は、トレーニングインスタンスの量と多様性に強く依存しており、効果的な学習には数千ものインスタンスが必要である。
• 問題固有のデータが不足する状況では、ランダムインスタンスジェネレータをトレーニングのベースラインとして活用できるが、特にターゲットインスタンスに適応するためのアクティブサーチ技術と組み合わせると有効である。
• モデルの一般化能力は、より大きなサイズのインスタンスに対しては限定的であり、スケーラビリティを確保するには、より大規模なデータで学習するか、アーキテクチャの改変が必要である可能性を示している。
• NCOモデルは、局所探索などのトラジェクトリーベースのメタヒューリスティクスフレームワーク内での低レベル意思決定モジュールとして強く有用であることが示された。これは、近傍探索をより効率的にガイドできる。
• NCO手法と従来の最適化アルゴリズムを公平に比較するためには、標準化されたベンチマークと厳密な評価プロトコルの整備が求められることが同定された。