[논문 리뷰] BQ-NCO: Bisimulation Quotienting for Efficient Neural Combinatorial Optimization

Darko Drakulić, Sofia Michel외 3명|arXiv (Cornell University)|2023. 01. 09.

Advanced Neural Network Applications인용 수 8

한 줄 요약

본 논문은 COP에 대한 일반적인 MDP 형식을 제시한 뒤, 상태를 이항형 동형사상(Bisimulation Quotienting)으로 축소하여 tail-recursive BQ-MDP를 생성하고, 주의 기반 정책을 통한 imitation 학습으로 다섯 개의 COP에서 최첨단 일반화를 입증한다.

ABSTRACT

Despite the success of neural-based combinatorial optimization methods for end-to-end heuristic learning, out-of-distribution generalization remains a challenge. In this paper, we present a novel formulation of Combinatorial Optimization Problems (COPs) as Markov Decision Processes (MDPs) that effectively leverages common symmetries of COPs to improve out-of-distribution robustness. Starting from a direct MDP formulation of a constructive method, we introduce a generic way to reduce the state space, based on Bisimulation Quotienting (BQ) in MDPs. Then, for COPs with a recursive nature, we specialize the bisimulation and show how the reduced state exploits the symmetries of these problems and facilitates MDP solving. Our approach is principled and we prove that an optimal policy for the proposed BQ-MDP actually solves the associated COPs. We illustrate our approach on five classical problems: the Euclidean and Asymmetric Traveling Salesman, Capacitated Vehicle Routing, Orienteering and Knapsack Problems. Furthermore, for each problem, we introduce a simple attention-based policy network for the BQ-MDPs, which we train by imitation of (near) optimal solutions of small instances from a single distribution. We obtain new state-of-the-art results for the five COPs on both synthetic and realistic benchmarks. Notably, in contrast to most existing neural approaches, our learned policies show excellent generalization performance to much larger instances than seen during training, without any additional search procedure.

연구 동기 및 목표

• 임의의 COP를 MDP로 형식화하기 위한 일반적이고 원리적인 프레임워크를 제공한다.
• 대칭성을 이용한 bisimulation quotienting으로 tail-recursive COP의 상태 공간을 축소한다.
• 다중 COP에 걸쳐 BQ-MDP에 적합한 트랜스포머 기반 정책을 설계한다.
• 더 큰 인스턴스와 현실적인 벤치마크에 대한 최첨단 일반화를 시연한다.
• BQ-MDP의 최적 정책이 추가 탐색 없이도 관련 COP를 해결한다는 것을 보인다.

제안 방법

• 해당 솔루션 공간을 몬드 구조와 부분 해 솔루션 단계의 생성기로 정의한다.
• 상태가 부분 해이고, 행동이 구성 단계인 직접 MDP를 구성하고 COP의 최적 해와 직접-MDP의 최적 정책 간의 동등성을 증명한다.
• tail-recursion 기반의 bisimulation 매핑을 도입하여 상태를 tail 하위 문제로 축소하는 BQ-MDP를 형성한다(이는 direct MDP의 bisimulation에 의한 몫이다).
• KP 및 path-TSP와 같은 tail-recursive COP에 대해 bisimulation을 특수화하여 부분 해를 tail 하위 문제로 매핑한다.
• 작은 인스턴스의 거의 최적궤적에서 imitation으로 학습된 주의 기반 정책 네트워크를 BQ-MDP에 맞게 제안한다.
• 계산 복잡성을 분석하고, BQ-MDP 학습이 큰 크기와 분포에 대해 관대하며 PerceiverIO와 같은 선형 주의 모델을 사용한 가속 옵션이 있음을 보인다.

실험 결과

연구 질문

• RQ1 어떤 COP이 tail-recursive 구조를 갖는 직접 MDP로 구축될 수 있어 최적 COP 해가 MDP 정책의 최적 해와 대응되는가?
• RQ2 bisimulation quotienting이 최적 정책을 보존하면서 학습 효율과 일반화를 개선하는 더 작고 등가적인 MDP(BQ-MDP)를 산출하는가?
• RQ3 tail-recursive COP들(KP, path-TSP, CVRP, OP 등)이 partial solution 하에서 explicit tail subproblems를 허용하여 효과적인 BQ-MDP 축소를 가능하게 하는가?
• RQ4 단순한 주의 기반 정책이 imitation으로 학습되어 5개의 COP에서 최첨단 결과와 강력한 out-of-distribution 일반화를 달성하는가?
• RQ5 대규모 인스턴스에서의 계산대비 정확성의 트레이드오프를 Quadratic 주의 대 Linear 주의 변형(예: 큰 인스턴스에 대해)은 어떤가?

주요 결과

• BQ-MDP는 원래 COP를(instance (f,X)에서 시작하는) 최적 정책을 통해 해결하는 것과 동등하고 타당하다.
• bisimulation quotienting은 tail-recursive COP의 상태 공간을 부분 해를 tail 하위 문제로 매핑함으로써 크게 축소한다.
• 일관된 트랜스포머 기반 정책은 Euclidean TSP, ATSP, CVRP, OP, KP에서 heavyweight 탐색에 의존하지 않고도 최첨단 결과를 얻을 수 있다.
• 작고 거의 최적에 가까운 인스턴스에서 학습된 정책은 더 크고 보지 못한 인스턴스 및 현실적인 벤치마크에 대해 뛰어난 일반화를 보인다.
• 빔 검색은 성능을 향상시키지만 계산 비용이 증가하고, 선형 주의 변형(PerceiverIO)은 성능 손실을 최소화하며 추론 속도를 높인다.
• 이 방법은 최대 1000 노드 인스턴스에서의 강력한 일반화를 제공하며, 탐색에 의존하거나 더 큰 학습 규칙에 의존하는 많은 신경 기반 기준선을 능가한다.