[논문 리뷰] Sym-NCO: Leveraging Symmetricity for Neural Combinatorial Optimization

Min-Su Kim, Junyoung Park외 1명|arXiv (Cornell University)|2022. 05. 26.

Vehicle Routing Optimization Methods인용 수 18

한 줄 요약

이 논문은 조합 최적화 문제에서 일반적인 대칭성(예: 회전 및 반사 불변성)을 활용하는 정규화 기반 학습 방식인 Sym-NCO를 제안한다. 이는 딥 강화학습(DRL) 기반 솔버의 성능을 향상시키기 위해 설계되었으며, REINFORCE 알고리즘에 대칭성 인식 기반 기준선을 통합함으로써 일반화 능력과 수렴 속도를 향상시킨다. TSP, CVRP, PCTSP 및 OP 문제에서 최신 기술 수준(SOTA) 성능을 달성하였고, PCTSP에서 ILS보다 240배 빠른 속도를 기록하면서도 기존의 DRL-NCO 방법 및 전통적 솔버를 능가한다.

ABSTRACT

Deep reinforcement learning (DRL)-based combinatorial optimization (CO) methods (i.e., DRL-NCO) have shown significant merit over the conventional CO solvers as DRL-NCO is capable of learning CO solvers less relying on problem-specific expert domain knowledge (heuristic method) and supervised labeled data (supervised learning method). This paper presents a novel training scheme, Sym-NCO, which is a regularizer-based training scheme that leverages universal symmetricities in various CO problems and solutions. Leveraging symmetricities such as rotational and reflectional invariance can greatly improve the generalization capability of DRL-NCO because it allows the learned solver to exploit the commonly shared symmetricities in the same CO problem class. Our experimental results verify that our Sym-NCO greatly improves the performance of DRL-NCO methods in four CO tasks, including the traveling salesman problem (TSP), capacitated vehicle routing problem (CVRP), prize collecting TSP (PCTSP), and orienteering problem (OP), without utilizing problem-specific expert domain knowledge. Remarkably, Sym-NCO outperformed not only the existing DRL-NCO methods but also a competitive conventional solver, the iterative local search (ILS), in PCTSP at 240 faster speed. Our source code is available at https://github.com/alstn12088/Sym-NCO.

연구 동기 및 목표

• 문제에 특화된 히وري스틱에 의존하지 않고 DRL 기반 및 전통적 조합 최적화 솔버 간의 성능 격차를 해소하기 위해.
• 유클리드 조합 최적화 문제에 내재된 일반적인 대칭성 특성을 활용하여 DRL-NCO 모델의 일반화 능력과 학습 효율을 향상시키기 위해.
• 신경망 아키텍처를 재설계하지 않고도 기존 DRL-NCO 모델을 향상시킬 수 있는 일반적이고 아키텍처에 종속되지 않는 학습 정규화 기반 방식을 개발하기 위해.
• 대칭성이 강력한 인덕티브 바이어스로서 학습 공간을 압축하고 불변 표현을 촉진한다는 것을 입증하기 위해.
• 특히 완전히 연결된 좌표 기반 그래프를 갖는 CO 작업에서, 아키텍처의 등변성보다 대칭성 정규화가 더 효과적인지 확인하기 위해.

제안 방법

• REINFORCE 알고리즘에 대칭성 인식 기반 기준선을 도입하여, 여러 개의 회전/반사된 문제 인스턴스를 샘플링하고 그 평균 수익을 기준선으로 사용한다.
• 대칭성 정규화 손실 $\mathcal{L}_{\text{inv}}$ 를 도입하여, 대칭적으로 변환된 입력의 표현 간 코사인 유사도를 최대화함으로써 인코더의 은닉 상태에서 불변 표현을 강제한다.
• 학습 중에 회전 증강을 적용하여 다수의 문제 변형을 생성함으로써, 정책이 공유된 최적화 목표를 통해 대칭적 해를 학습할 수 있도록 한다.
• 대칭성 정규화를 위해 프로젝션 헤드 $g(\cdot)$ 를 사용하여 은닉 표현을 투영함으로써, 모델의 표현 능력을 유지하면서도 불변성을 강제한다.
• 신경망 아키텍처를 수정하지 않고도 기존 DRL-NCO 프레임워크(예: POMO)에 대칭성 정규화를 통합하여 즉시 적용 가능한 성능 향상 효과를 제공한다.
• 표준 강화학습 손실과 대칭성 정규화를 결합한 다중 작업 학습 목표를 도입하여, 해 품질과 대칭성 양쪽을 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 대칭성 정규화는 다양한 조합 최적화 문제에서 DRL-NCO 모델의 일반화 능력과 수렴 속도를 향상시키는가?
• RQ2 회전 및 반사 불변성과 같은 일반적인 대칭성을 활용하는 것이 문제에 특화된 히وري스틱이나 등변 아키텍처보다 더 나은 성능을 내는가?
• RQ3 완전히 연결된 좌표 기반 그래프를 갖는 CO 작업에서, 아키텍처의 등변성보다 대칭성 정규화가 더 효과적인가?
• RQ4 대칭성 정규화는 학습 공간의 유효 크기를 얼마나 줄이고, 샘플 효율성을 얼마나 향상시키는가?
• RQ5 대칭성 정규화는 아키텍처 변경 없이 기존 DRL-NCO 모델에 일반적으로 적용 가능하며, 성능을 유지하거나 향상시키는가?

주요 결과

• Sym-NCO는 문제에 특화된 히وري스틱 없이도 TSP, CVRP, PCTSP 및 OP의 네 가지 CO 작업에서 기존 DRL-NCO 모델의 성능을 크게 향상시켰다.
• PCTSP 벤치마크에서 Sym-NCO는 전통적인 반복적 국소 탐색(ILS) 솔버를 능가하면서도 240배 더 빠른 속도를 기록하여 뛰어난 속도-정확도 트레이드오프를 입증했다.
• 대칭성 정규화 손실 $\mathcal{L}_{\text{inv}}$ 는 대칭적으로 변환된 입력의 표현 간 코사인 유사도를 증가시켜 효과적인 불변 표현 학습을 확인했다.
• 제거 실험 결과, 인코더의 은닉 상태($h$)에 대칭성 정규화를 적용할 경우 성능이 악화됨을 확인하여, 표현력 유지와 동시에 불변성 강제를 위해 프로젝션 헤드 $g(\cdot)$ 가 필수적임을 입증했다.
• 이론적으로 등변성을 보장하는 EGNN는 성능이 Sym-NCO에 뒤지며 수렴하지 못했으며, 이는 등변성 자체만으로는 충분하지 않음을 시사한다. 본 연구의 맥락에서 대칭성 정규화가 더 효과적임을 확인했다.
• Sym-NCO는 모든 벤치마크 데이터셋에서 파레토 최적 성능를 달성하였으며, 동일한 시간 예산 내에서 모든 베이스라인을 능가하는 해 품질을 확보했다.