[논문 리뷰] Learning Collaborative Policies to Solve NP-hard Routing Problems

Min-Su Kim, Jinkyoo Park외 1명|arXiv (Cornell University)|2021. 10. 26.

Vehicle Routing Optimization Methods참고 문헌 33인용 수 43

한 줄 요약

두-정책 계층적 DRL 프레임워크(시더 seeder와 RevisER) 도입으로 NP-hard 라우팅 문제를 해결하기 위해 다양한 시드를 생성하고 품질을 향상시키기 위해 반복적으로 수정하며 단일 정책 DRL 베이스라인보다 TSP, PCTSP, CVRP에서 성능을 향상시킵니다.

ABSTRACT

Recently, deep reinforcement learning (DRL) frameworks have shown potential for solving NP-hard routing problems such as the traveling salesman problem (TSP) without problem-specific expert knowledge. Although DRL can be used to solve complex problems, DRL frameworks still struggle to compete with state-of-the-art heuristics showing a substantial performance gap. This paper proposes a novel hierarchical problem-solving strategy, termed learning collaborative policies (LCP), which can effectively find the near-optimum solution using two iterative DRL policies: the seeder and reviser. The seeder generates as diversified candidate solutions as possible (seeds) while being dedicated to exploring over the full combinatorial action space (i.e., sequence of assignment action). To this end, we train the seeder's policy using a simple yet effective entropy regularization reward to encourage the seeder to find diverse solutions. On the other hand, the reviser modifies each candidate solution generated by the seeder; it partitions the full trajectory into sub-tours and simultaneously revises each sub-tour to minimize its traveling distance. Thus, the reviser is trained to improve the candidate solution's quality, focusing on the reduced solution space (which is beneficial for exploitation). Extensive experiments demonstrate that the proposed two-policies collaboration scheme improves over single-policy DRL framework on various NP-hard routing problems, including TSP, prize collecting TSP (PCTSP), and capacitated vehicle routing problem (CVRP).

연구 동기 및 목표

• NP-hard 라우팅 문제를 문제별 휴리스틱 없이 딥 RL로 해결하려는 동기 부여.
• 탐색과 활용의 균형을 맞추기 위한 두 개의 전문 정책으로 구성된 계층적 프레임워크를 제안합니다.
• 협력적 정책이 TSP, PCTSP, CVRP에서 솔루션 품질과 속도를 향상시킨다는 것을 입증합니다.
• 시드 엔트로피 기반의 다채로운 시드 생성과 병렬 수정이 다양하면서도 정교한 해결책을 낳는다는 것을 보여줍니다.

제안 방법

• 전체 조합 가능한 행동 공간에서 엔트로피를 최대화하여 다양한 후보 투어를 생성하는 시더를 포함하는 두 단계 DRL 프레임워크를 정의합니다.
• 시드 다양성을 촉진하기 위해 엔트로피 정규화를 사용하고, 시퀀스-정책 엔트로피의 가중 합을 통해 엔트로피를 근사합니다.
• 정책 매개변을 위한 기본 신경망 아키텍처로 AM(Attention Model)을 활용하여 시더와 리바이저를 각각 독립적으로 학습합니다.
• 리바이전에서는 전체 경로를 여러 개의 서브 투어로 변환하고, AM 인코더에서 파생된 공유 컨텍스트 임베딩으로 각 세그먼트를 수정하며 업데이트된 전체 투어를 합산하여 최선의 후보를 선택합니다.
• ROLLOUT 베이스라인이 있는 REINFORCE를 기반으로 한 학습 목표를 제공하고, 시드용 엔트로피 기반 보상과 수정용 음 길이 보상을 포함합니다.
• N=20, 50, 100, 500과 같은 다양한 노드 수에서 TSP, PCTSP, CVRP에 대해 Gurobi, OR-Tools, Concorde, LKH3 및 다른 DRL 베이스라인과 비교하여 성능을 보고합니다.

실험 결과

연구 질문

• RQ1 두 정책 DRL 프레임워크(시더와 리바이저)가 NP-hard 라우팅 문제에서 단일 정책 DRL 방법보다 더 나은 성능을 보일 수 있는가?
• RQ2 엔트로피 정규화된 시딩이 병렬 수정과 결합될 때 exploitable한 품질을 희생하지 않으면서 솔루션 다양성을 향상시키는가?
• RQ3 현실적 예산하에서 TSP, PCTSP, CVRP에 대한 LCP 스킴의 솔루션 품질 및 계산 시간 성능은 어떠한가?

주요 결과

• LCP는 측정된 실험에서 N이 최대 100까지인 TSP, PCTSP, CVRP에서 단일 정책 DRL 베이스라인(예: AM, DRL-2opt)을 능가합니다.
• 엔트로피 정규화된 시딩과 리바이저의 조합이 최적성보다 개선된 구성을 보여 AB 실험에서 일반 AM 및 기타 구성과 비교해 개선이 확인됩니다.
• 리바이저의 병렬 서브투어 수정은 추론당 더 큰 유효 탐색 공간을 가능하게 하고 총 반복 수를 줄여 수렴 속도를 높입니다.
• LCP는 시간 예산에서 우승 영역을 형성하며 DRL 솔버 및 일부 전통 휴리스틱보다 빠른 시간 성능이 우수합니다.
• 이 접근 방식은 구조에 구애받지 않으며 다른 AM 스타일 모델이나 신경망 아키텍처에 적용될 수 있습니다.