[論文レビュー] Pareto Set Learning for Neural Multi-objective Combinatorial Optimization

Xi Lin, Zhiyuan Yang+1 more|arXiv (Cornell University)|Mar 29, 2022

Advanced Multi-Objective Optimization Algorithms被引用数 22

ひとこと要約

本論文は、MOCO問題の全パレート前方を近似する単一の、嗜好条件付きニューラルモデルを提案し、多目的強化学習で訓練され、MOTSP、MOVRP、MOKPにおける複数のベースラインより優れた性能を示す。

ABSTRACT

Multiobjective combinatorial optimization (MOCO) problems can be found in many real-world applications. However, exactly solving these problems would be very challenging, particularly when they are NP-hard. Many handcrafted heuristic methods have been proposed to tackle different MOCO problems over the past decades. In this work, we generalize the idea of neural combinatorial optimization, and develop a learning-based approach to approximate the whole Pareto set for a given MOCO problem without further search procedure. We propose a single preference-conditioned model to directly generate approximate Pareto solutions for any trade-off preference, and design an efficient multiobjective reinforcement learning algorithm to train this model. Our proposed method can be treated as a learning-based extension for the widely-used decomposition-based multiobjective evolutionary algorithm (MOEA/D). It uses a single model to accommodate all the possible preferences, whereas other methods use a finite number of solutions to approximate the Pareto set. Experimental results show that our proposed method significantly outperforms some other methods on the multiobjective traveling salesman problem, multiobjective vehicle routing problem, and multiobjective knapsack problem in terms of solution quality, speed, and model efficiency.

研究の動機と目的

• MOCO問題において、パレート前方が大きく事前には未知である状況を解く動機づけ
• 追加の探索なしに任意のパレート最適なトレードオフ解を生成できる学習ベースの手法を開発する
• すべての嗜好に対応できる単一のモデルを提供し、問題固有のモデルを多数必要とする状況を削減する
• 多様なパレート解へ即座にアクセスできるようにして、対話的な意思決定を可能にする

提案手法

• 嗜好ベクトル λ でパラメータが条件付けられた単一デコーダを介してパレート解を生成する嗜好条件付きニューラル MOCOモデルを提案する
• 嗜好非依存エンコーダで問題インスタンスを埋め込み、嗜好条件付きのアテンションベースデコーダでツアーを構築する
• 嗜好ベクトルからデコーダパラメータ θ(λ) を生成するハイパーネットワーク（MLP）を採用する
• 嗜好とインスタンス全体にわたって重み付きチェビシェフ尺度化 L(π|λ) を最小化する多目的 REINFORCE 目的で訓練する
• MOCO設定への一般化を改善するためにインスタンス拡張を適用する
• 分布外インスタンスへモデルを適応させる積極的適応戦略を提供する

実験結果

リサーチクエスチョン

• RQ1 MOCOにおけるすべてのトレードオフ嗜好に対して、嗜好ごとの訓練を行わずに単一のニューラルモデルが近似的なパレート解を生成できるか？
• RQ2 複数の目的と問題インスタンスに対して、どうエンドツーエンドでこのようなモデルを訓練できるか？
• RQ3 嗜好条件付きアプローチは、マルチモデルや手工的ヒューリスティックと比較して解の品質、速度、モデル効率を改善するか？
• RQ4 分布外の問題インスタンスに対して手法は頑健か、訓練後にも適応できるか？

主な発見

• 提案された P-MOCO 手法は、嗜好から MOCO問題のパレート最適似た解への写像を学習する。
• 嗜好条件付けを備えた単一モデルは探索なしに複数のパレートトレードオフを生成でき、解の品質と速度の点でいくつかのベースラインを上回る。
• P-MOCO は、従来の MOEA/D ベースの手法や他の学習ベース手法を、複数の設定で MOTSP、MOVRP、MOKP において著しく上回る。
• インスタンス拡張と積極的適応は、分布外の問題インスタンスへの一般化を助け、競争力のあるハイパーボリューム性能を達成する。
• 本手法は、複数モデルのベースラインと比較して推論時間が大幅に短い一方で競合的または優れたハイパーボリュームを達成し、モデル効率の改善を示す。
• 本研究は MOCO を MOEA/D の学習版として位置づけ、実践的にすべての嗜好に対して単一モデルが機能する可能性を示す。