[논문 리뷰] Pareto Set Learning for Neural Multi-objective Combinatorial Optimization

Xi Lin, Zhiyuan Yang외 1명|arXiv (Cornell University)|2022. 03. 29.

Advanced Multi-Objective Optimization Algorithms인용 수 22

한 줄 요약

본문은 MOCO 문제의 전체 파레토 프런트를 근사하기 위한 단일의 선호도 조건화 신경망 모델을 도입하고, 다목적 강화학습으로 학습시키며, MOTSP, MOVRP, MOKP에서 여러 기준선 대비 우수한 성능을 보임을 보여준다.

ABSTRACT

Multiobjective combinatorial optimization (MOCO) problems can be found in many real-world applications. However, exactly solving these problems would be very challenging, particularly when they are NP-hard. Many handcrafted heuristic methods have been proposed to tackle different MOCO problems over the past decades. In this work, we generalize the idea of neural combinatorial optimization, and develop a learning-based approach to approximate the whole Pareto set for a given MOCO problem without further search procedure. We propose a single preference-conditioned model to directly generate approximate Pareto solutions for any trade-off preference, and design an efficient multiobjective reinforcement learning algorithm to train this model. Our proposed method can be treated as a learning-based extension for the widely-used decomposition-based multiobjective evolutionary algorithm (MOEA/D). It uses a single model to accommodate all the possible preferences, whereas other methods use a finite number of solutions to approximate the Pareto set. Experimental results show that our proposed method significantly outperforms some other methods on the multiobjective traveling salesman problem, multiobjective vehicle routing problem, and multiobjective knapsack problem in terms of solution quality, speed, and model efficiency.

연구 동기 및 목표

• 사전에 크고 미지인 파레토 프런트를 갖는 MOCO 문제를 해결하려는 동기를 제시한다
• 추가 탐색 없이도 어떤 파레토 최적 의사결정 트레이드를 생성할 수 있는 학습 기반 방법을 개발한다
• 모든 선호도를 처리할 수 있는 단일 모델을 제공하여 많은 문제별 모델의 필요성을 줄인다
• 다양한 파레토 해에 즉시 접근할 수 있도록 인터랙티브 의사결정을 가능하게 한다

제안 방법

• 선호도 벡터 λ에 따라 매개변수가 조건화된 단일 디코더를 통해 파레토 해를 생성하는 선호도 조건화 신경 MOCO 모델을 제안한다
• 선호도에 무관한 인코더로 문제 인스턴스를 임베딩하고, 선호도 조건화된 어텐션 기반 디코더로 투어를 구성한다
• 선호도 벡터로부터 디코더 매개변수 θ(λ)를 생성하는 하이퍼네트워크(MLP)를 사용한다
• 다중목적 REINFORCE 목표로 학습하여 선호도와 인스턴스에 걸쳐 가중된 체비예프 스칼라화 L(π|λ)을 최소화한다
• MOCO 설정에 대한 일반화 향상을 위해 인스턴스 증강을 적용한다
• 분포 외 인스턴스에 모델을 적응시키기 위한 능동 적응 전략을 제공한다

실험 결과

연구 질문

• RQ1 사전별 훈련 없이 하나의 신경망 모델이 MOCO의 모든 트레이드오프 선호도에 대해 근사 Pareto 해를 생성할 수 있는가?
• RQ2 다중 목표와 문제 인스턴스에 대해 이러한 모델을 엔드투엔드로 어떻게 학습시킬 수 있는가?
• RQ3 선호도 조건화 접근이 다중 모델 또는 수작업 휴리스틱 대비 해의 질, 속도, 모델 효율성을 향상시키는가?
• RQ4 분포 외 문제 인스턴스에 대해 방법이 견고하며, 학습 이후에 적응할 수 있는가?

주요 결과

• 제안된 P-MOCO 방법은 선호도에서 MOCO 문제에 대한 파레토 최적에 준하는 해로의 매핑을 학습한다.
• 선호도 조건화가 적용된 단일 모델은 탐색 없이도 여러 파레토 트레이드를 생성할 수 있으며, 해의 질과 속도 면에서 여러 기준선을 능가한다.
• P-MOCO는 MOTSP, MOVRP, MOKP에서 전통적인 MOEA/D 기반 접근법 및 다른 학습 기반 방법에 비해 여러 설정에서 현저히 향상된다.
• 인스턴스 증강과 능동적 적응은 분포 외 인스턴스에 대한 일반화를 돕고 경쟁력 있는 하이퍼볼륨 성능을 달성한다.
• 이 방법은 여러 모델 기준선에 비해 매우 낮은 추론 시간으로 경쟁력 있거나 우수한 하이퍼볼륨을 달성하여 모델 효율성 향상을 보여준다.
• 본 연구는 MOCO를 MOEA/D의 학습 버전으로 프레이밍하고, 실제로 모든 선호도에 대해 단일 모델이 가능하다는 타당성을 입증한다.