[논문 리뷰] Multi-objective Pointer Network for Combinatorial Optimization

Le-yang Gao, Rui Wang외 2명|arXiv (Cornell University)|2022. 04. 25.

Advanced Multi-Objective Optimization Algorithms인용 수 6

한 줄 요약

이 논문은 다중목표 조합 최적화 문제(MOCOPs)인 다중목표 TSP와 같은 문제를 해결하기 위해 포인터 네트워크를 확장한 단일 모델 딥 강화 학습 프레임워크인 다중목표 포인터 네트워크(MOPN)를 제안한다. 입력 구조를 개선하고 대표 모델 기반 및 전이 학습이라는 두 가지 훈련 전략을 적용함으로써, 기존 최첨단 방법보다 빠른 추론 속도와 더 나은 파레토 최적 해 수렴 성능을 달성하였으며, DRL-MOA 대비 훈련 시간을 60–80% 감소시켰다. 또한 해의 질과 다양성 면에서 메타휴리스틱보다 뛰어난 성능을 보였다.

ABSTRACT

Multi-objective combinatorial optimization problems (MOCOPs), one type of complex optimization problems, widely exist in various real applications. Although meta-heuristics have been successfully applied to address MOCOPs, the calculation time is often much longer. Recently, a number of deep reinforcement learning (DRL) methods have been proposed to generate approximate optimal solutions to the combinatorial optimization problems. However, the existing studies on DRL have seldom focused on MOCOPs. This study proposes a single-model deep reinforcement learning framework, called multi-objective Pointer Network (MOPN), where the input structure of PN is effectively improved so that the single PN is capable of solving MOCOPs. In addition, two training strategies, based on representative model and transfer learning, respectively, are proposed to further enhance the performance of MOPN in different application scenarios. Moreover, compared to classical meta-heuristics, MOPN only consumes much less time on forward propagation to obtain the Pareto front. Meanwhile, MOPN is insensitive to problem scale, meaning that a trained MOPN is able to address MOCOPs with different scales. To verify the performance of MOPN, extensive experiments are conducted on three multi-objective traveling salesman problems, in comparison with one state-of-the-art model DRL-MOA and three classical multi-objective meta-heuristics. Experimental results demonstrate that the proposed model outperforms all the comparative methods with only 20\% to 40\% training time of DRL-MOA.

연구 동기 및 목표

• 다양한 실제 응용에서 흔히 나타나는 NP-난이도의 다중목표 조합 최적화 문제(MOCOPs)를 위해 특화된 딥 강화 학습(DRL) 방법의 부족을 해결하기 위해.
• 기존의 메타휴리스틱과 달리 반복적 과정 없이도 고품질의 파레토 최적 해를 효율적으로 생성할 수 있는 단일 모델 DRL 프레임워크를 개발하기 위해.
• DRL-MOA와 같은 기존 DRL 모델이 다수의 하위-PN을 필요로 하고 장기간 훈련이 필요한 점을 감안해, 훈련 시간을 단축하고 최적화 성능을 향상시키기 위해.
• 다양한 문제 규모에 걸쳐 일반화 능력을 확보하여, 재훈련 없이도 다양한 크기의 MOCOP에 적용 가능한 모델을 확보하기 위해.
• 대표 모델 기반 및 전이 학습 기반의 새로운 훈련 전략을 도입하여 해의 다양성과 수렴 성능을 향상시키기 위해.

제안 방법

• 다중 목적의 비용 벡터를 기반으로 다중 목적 최적화를 동시에 처리할 수 있도록 개선된 입력 구조를 갖춘 표준 포인터 네트워크(PN)를 확장하여, 모델이 다중 목적 기반으로 액션을 선택하고 주의를 기울일 수 있도록 한다.
• 정책 그래เดียน트 방법을 사용한 딥 강화 학습을 적용하며, 파레토 지배 관계에 기반한 누적 보상을 훈련 신호로 사용하여 액션 선택을 유도한다.
• 다양하고 고품질의 해를 인구 집단에서 선별하여 MOPN을 사전 훈련하는 대표 모델 기반 훈련 전략을 도입하여, 초기 정책 품질을 향상시킨다.
• 이전에 훈련된 모델의 지식을 활용하여 MOPN을 전이 학습을 통해 미세조정함으로써, 새로운 문제 인스턴스에서의 수렴 속도 향상과 성능 향상을 달성한다.
• 디코더에서 어텐션 메커니즘을 사용하여 입력 도시들에 대해 동적으로 주의를 기울일 수 있도록 하여, 다중 목적을 최적화하는 도시 방문 순서를 생성할 수 있도록 한다.
• 훈련 안정성 향상과 정책 그래디언트 분산 감소를 위해 크리틱 네트워크를 베이스라인으로 사용하여, 훈련 안정성과 수렴 속도를 향상시킨다.

실험 결과

연구 질문

• RQ1 반복적 휴리스틱이나 다수의 하위 모델이 필요 없이도 단일 딥 강화 학습 모델이 다중목표 조합 최적화 문제를 효과적으로 해결할 수 있는가?
• RQ2 다중목표 TSP 인스턴스에서 제안된 MOPN 프레임워크는 최첨단 DRL 및 전통적 메타휴리스틱 방법과 비교해 성능 및 효율성이 어떻게 뛰어나게 되는가?
• RQ3 제안된 훈련 전략인 대표 모델 기반 및 전이 학습 기반 전략이 파레토 최적 해의 수렴성과 다양성에 얼마나 기여하는가?
• RQ4 MOPN은 문제 규모의 변화에 얼마나 민감한가? 그리고 하나의 훈련된 모델이 다양한 크기의 MOCOP 인스턴스에 일반화되어 적용 가능한가?
• RQ5 DRL-MOA 및 NSGAIII, MOEA/D와 같은 전통적 메타휴리스틱보다 MOPN이 더 나은 수렴성과 해의 다양성을 달성하는가?

주요 결과

• 모든 테스트된 다중목표 TSP 인스턴스에서 MOPN은 DRL-MOA, NSGAIII 및 MOEA/D에 비해 더 나은 파레토 최적 해의 수렴성과 다양성을 확보하였다.
• MOPN-TL 버전은 특히 세 번째 목표를 최적화하는 데서 해의 품질이 MOPN-RM 및 DRL-MOA를 뛰어넘었으며, 더 균일하고 갭 없는 파레토 최적 해를 생성하였다.
• DRL-MOA 대비 MOPN은 훈련 시간을 60–80% 감소시켰으며, MOPN-RM은 모든 방법 중에서 가장 짧은 훈련 시간을 기록하였다.
• MOPN-RM 모델은 문제 규모 변화에 민감하지 않아 재훈련 없이도 다양한 크기의 MOCOP에 적용 가능하여 강력한 일반화 능력을 입증하였다.
• 3목표 TSP(Ins.T2O3S200-1)에서 MOPN-TL는 최고의 초과체적량(HV) 값을 기록하여 비지배 해의 수렴성과 분포가 뛰어나다는 것을 보여주었다.
• MOPN가 생성한 파레토 최적 해는 갭이 없고 균일하게 분포되어 있었으며, 반면 DRL-MOA 및 메타휴리스틱의 경우 흐릿하고 끈적거리는 해로 인해 분할된 해가 나타났다.