[논문 리뷰] Winner Takes It All: Training Performant RL Populations for Combinatorial Optimization

Nathan Grinsztajn, Daniel Furelos-Blanco외 3명|arXiv (Cornell University)|2022. 10. 07.

Vehicle Routing Optimization Methods인용 수 6

한 줄 요약

이 논문은 성능 기반 목표를 통해 복수의 문제 인스턴스에 특화된 상호보완적인 정책 집합을 학습하는 강화학습 방법인 Poppy를 소개한다. 각 인스턴스에서 성능이 가장 뛰어난 에이전트만 학습 중 업데이트함으로써 Poppy는 명시적 다양성 감독 없이도 TSP, CVRP, 0-1 쓰레기통 문제, 작업장 스케줄링 문제에서 최신 기준(SOTA) 성능을 달성한다.

ABSTRACT

Applying reinforcement learning (RL) to combinatorial optimization problems is attractive as it removes the need for expert knowledge or pre-solved instances. However, it is unrealistic to expect an agent to solve these (often NP-)hard problems in a single shot at inference due to their inherent complexity. Thus, leading approaches often implement additional search strategies, from stochastic sampling and beam search to explicit fine-tuning. In this paper, we argue for the benefits of learning a population of complementary policies, which can be simultaneously rolled out at inference. To this end, we introduce Poppy, a simple training procedure for populations. Instead of relying on a predefined or hand-crafted notion of diversity, Poppy induces an unsupervised specialization targeted solely at maximizing the performance of the population. We show that Poppy produces a set of complementary policies, and obtains state-of-the-art RL results on four popular NP-hard problems: traveling salesman, capacitated vehicle routing, 0-1 knapsack, and job-shop scheduling.

연구 동기 및 목표

• NP-난해한 조합 최적화 문제의 해결에 있어 단일 에이전트 강화학습의 한계를 해결하기 위해, 본질적인 해 공간 복잡성으로 인한 제약를 극복하고자 한다.
• 건설 기반 강화학습 방법에서 단일 정책의 편향으로 인해 탐색이 단일 히우리스틱 경로로 제한되는 문제를 해결하고자 한다.
• 수동으로 설계된 행동 마커나 외부 감독에 의존하지 않고도 효과적인 정책 다양성을 유도하는 스케일링 가능하고 효율적인 학습 절차를 개발하고자 한다.
• 성능 기반 특화가 상호보완적인 정책을 도출함으로써 기존의 강화학습 기반 솔버보다 다양한 NP-난해 문제에서 뛰어난 성능을 내는가를 입증하고자 한다.

제안 방법

• Poppy는 공유 백본 네트워크를 공유하고 정책 헤드만을 경량화하여 에이전트 집단을 학습한다.
• 각 문제 인스턴스에서 가장 높은 성능를 기록한 에이전트만 학습 중 업데이트하는 새로운 정책 그래เดียน트 목표를 사용한다.
• 공유 인코더와 개별 정책 헤드를 활용함으로써 집단 전체에서 효율적인 계산을 가능하게 한다.
• REINFORCE에 상태값 기반 보정을 적용하고, JAX 기반 Jumanji의 환경 동역학을 활용해 효율적인 시뮬레이션을 수행한다.
• 명시적 행동 정규화 없이도 인구 집단 간 성능 격차에 초점을 맞춤으로써 암묵적으로 다양성을 촉진하는 학습 목표를 사용한다.
• 동일한 아키텍처와 하이퍼파라미터를 사용하여 네 가지 문제에 적용한다: TSP, CVRP, 0-1 쓰레기통 문제, 작업장 스케줄링 문제.

실험 결과

연구 질문

• RQ1 성능 기반 목표로 학습된 에이전트 집단이 조합 최적화 문제에서 단일 에이전트 방법보다 더 우수한 일반화 능력과 해 품질을 달성할 수 있는가?
• RQ2 성능 기반 학습을 통한 암묵적 특화가 명시적 다양성 제약 없이도 효과적이고 상호보완적인 정책을 도출할 수 있는가?
• RQ3 다양한 NP-난해 문제에서 기존의 강화학습 기반 솔버와 비교해 Poppy의 해 품질과 추론 효율성은 어떠한가?
• RQ4 제안된 방법이 큰 인스턴스에 대해 스케일링 가능하며, 추가적인 검색이나 미세조정 없이도 강력한 성능을 유지할 수 있는가?

주요 결과

• Poppy는 네 가지 벤치마크 문제 모두에서 최신 기준 성능을 달성한다: TSP, CVRP, 0-1 쓰레기통 문제, 작업장 스케줄링 문제.
• TSP1000에서 Poppy는 16개의 트래잭터리를 사용해 해 갭 71.7%를 기록했으며, POMO(120% 갭)와 EAS(114% 갭)를 크게 앞서나갔다.
• 시간-성능 트레이드오프 분석에서 Poppy는 모든 설정에서 POMO를 일관되게 능가했고, Poppy의 성능를 따라잡기 위해 샘플링을 늘리는 것은 종종 비현실적이었다.
• 0-1 쓰레기통 문제에서는 단일 디코더를 미리 학습하지 않고도 집단을 처음부터 학습하는 것이 효과적이고 효율적이었으며, 단 몇 분 만에 완료되었다.
• 10x10 인스턴스에 대해 작업장 스케줄링 문제에서 Poppy는 트랜스포머 기반 액터-크리틱 아키텍처와 JAX 가속 동역학을 활용해 메이크스팬을 최소화하는 데 강력한 성능을 보였다.
• Poppy의 성능는 문제 크기에 관계없이 뛰어나며, 수동으로 설계된 다양성 또는 검색 히우리스틱이 필요하지 않으며, 인구 수준의 목표에만 의존한다.