[논문 리뷰] RL4CO: an Extensive Reinforcement Learning for Combinatorial Optimization Benchmark

Federico Berto, Chuanbo Hua외 31명|arXiv (Cornell University)|2023. 06. 29.

Software Engineering Research참고 문헌 58인용 수 4

한 줄 요약

RL4CO는 조합 최적화 분야의 강화학습을 위한 통합적이고 오픈소스 기반의 벤치마크를 제공하며, 27개의 문제 환경과 23개의 최신 기준 기반 모델을 포함한다. 이는 알고리즘 개발과 기술적 부담을 분리함으로써 모듈러하고 재현 가능한 연구를 가능하게 하며, 실증 연구를 통해 다양한 훈련 분포가 CO 작업 전반에 걸친 일반화 능력을 크게 향상시킴을 보여준다.

ABSTRACT

Combinatorial optimization (CO) is fundamental to several real-world applications, from logistics and scheduling to hardware design and resource allocation. Deep reinforcement learning (RL) has recently shown significant benefits in solving CO problems, reducing reliance on domain expertise and improving computational efficiency. However, the absence of a unified benchmarking framework leads to inconsistent evaluations, limits reproducibility, and increases engineering overhead, raising barriers to adoption for new researchers. To address these challenges, we introduce RL4CO, a unified and extensive benchmark with in-depth library coverage of 27 CO problem environments and 23 state-of-the-art baselines. Built on efficient software libraries and best practices in implementation, RL4CO features modularized implementation and flexible configurations of diverse environments, policy architectures, RL algorithms, and utilities with extensive documentation. RL4CO helps researchers build on existing successes while exploring and developing their own designs, facilitating the entire research process by decoupling science from heavy engineering. We finally provide extensive benchmark studies to inspire new insights and future work. RL4CO has already attracted numerous researchers in the community and is open-sourced at https://github.com/ai4co/rl4co.

연구 동기 및 목표

• 조합 최적화 분야의 강화학습에 대한 통합 벤치마크 부족으로 인한 재현성 및 일관된 평가의 어려움을 해결한다.
• 모듈러하고 잘 문서화된 소프트웨어 프레임워크를 제공함으로써 기술적 부담과 도메인 특화 캘리브레이션을 줄인다.
• 환경, 기준 모델, 평가 프로토콜의 표준화를 통해 새로운 강화학습 알고리즘 및 신경망 아키텍처의 개발과 비교를 촉진한다.
• 다양한 훈련 분포와 VRP 변형을 통해 신경 조합 최적화에서의 일반화를 체계적으로 연구할 수 있도록 한다.
• 확장 가능하고 프로덕션 수준의 구현을 제공함으로써 커뮤니티가 다양한 CO 도메인에서 기초 모델을 구축하는 데 지원한다.

제안 방법

• 강화학습과 조합 최적화 분야의 최선의 실천 방식을 기반으로 한 모듈러하고 확장 가능한 소프트웨어 라이브러리를 설계하여, 환경, 정책 아키텍처, 강화학습 알고리즘의 유연한 구성이 가능하도록 한다.
• TSP, VRP, CVRP, 백팩 정렬, 스케줄링 문제 등을 포함한 27개의 다양한 조합 최적화 환경을 표준화된 인터페이스로 구현한다.
• POMO, MTPOMO, MVMoE, MVMoE-L 등 23개의 최신 기준 기반 모델을 통합하여 공정하고 일관된 비교를 가능하게 한다.
• 여러 가지 VRP 변형과 좌표 분포 유형(예: 균일, 군집, 정규분포)을 지원하여 데이터 분포 전반에 걸친 일반화를 연구할 수 있도록 한다.
• 구성 가능한 데이터 생성 파이프라인과 커리큘럼 학습 설정을 통해 혼합 분포 및 작업 간 훈련 및 평가를 가능하게 한다.
• 실험의 간소화와 재현 가능성 확보를 위해 포괄적인 문서, 로깅, 평가 도구를 제공한다.

실험 결과

연구 질문

• RQ1 다양한 데이터 분포(예: 혼합된 크기와 좌표 유형)에서 훈련할 경우, 조합 최적화에서의 일반화 성능에 어떤 영향을 미치는가?
• RQ2 다양한 VRP 변형 간 다중 작업 훈련이 새로운 문제 인스턴스에 대한 제로샷 일반화 능력에 얼마나 기여하는가?
• RQ3 통합 벤치마크 프레임워크는 조합 최적화 분야의 신경망 기반 연구에서 기술적 부담을 줄이고 연구 진전을 가속화하는 데 기여하는가?
• RQ4 다양한 정책 아키텍처(예: MVMoE, MTPOMO)는 CO 문제 전반에서 해법 품질과 일반화 능력 측면에서 어떻게 비교되는가?
• RQ5 조합 최적화 작업에서 훈련 분포 외부로의 일반화에 대해 아키텍처적 및 훈련적 다양성이 어떤 영향을 미치는가?

주요 결과

• 혼합 분포에서 훈련한 모델(MDPOMO)은 훈련 세트와 유사한 크기의 문제 인스턴스에서 일반화 성능을 크게 향상시키며, CVRPLib 데이터셋에서 평균 격차를 최대 3.8% 감소시킨다.
• 다양한 VRP 변형 간 다중 작업 훈련(MTPOMO)은 더 큰 규모와 더 다양한 분포에서 뛰어난 일반화 성능을 달성하여, Set X(100~1000명의 고객)에서 단일 작업 모델 대비 최대 13.9%의 격차 감소를 기록한다.
• MVMoE-L 모델은 X-n101-k25 벤치마크에서 10.38%의 격차로 최고 성능을 기록하며, 멀티플렉스-오브-익스퍼트 아키텍처가 대규모 VRP 문제를 효과적으로 처리할 수 있음을 입증한다.
• 여러 가지 VRP 변형과 좌표 분포를 포함한 훈련 데이터가 일반화 성능을 크게 향상시키며, 이는 다양한 작업 간 공통의 기초 지식이 존재함을 시사한다.
• X-n819-k171 인스턴스에서는 가장 강력한 기준 모델(MVMoE-L)이 격차를 164.2% 증가시키며, 극단적인 규모로의 일반화 도전과 더 강력한 모델이 필요함을 보여준다.
• 혼합 분포에서 훈련한 모델(MDPOMO)은 모든 CVRPLib 세트에서 평균 격차가 낮으며, Set X에서는 MVMoE-L을 사용해 13.9%의 격차를 기록하여 뛰어난 제로샷 일반화 능력을 입증한다.