[논문 리뷰] DIMES: A Differentiable Meta Solver for Combinatorial Optimization Problems

Ruizhong Qiu, Zhiqing Sun외 1명|arXiv (Cornell University)|2022. 10. 08.

Machine Learning and Data Classification인용 수 16

한 줄 요약

DIMES는 조합 최적화 문제를 위한 유연한 메타솔버를 제안하며, 솔루션 분포를 압축된 연속 공간으로 매개변수화하여 안정적인 REINFORCE 기반 훈련과 대량 병렬 샘플링을 가능하게 한다. 이는 지도 학습이나 문제 전용 휴리스틱 없이도 대규모 TSP 및 MIS 문제에서 최신 기준 성능을 달성하며, 최대 10,000개 노드까지 확장 가능하다.

ABSTRACT

Recently, deep reinforcement learning (DRL) models have shown promising results in solving NP-hard Combinatorial Optimization (CO) problems. However, most DRL solvers can only scale to a few hundreds of nodes for combinatorial optimization problems on graphs, such as the Traveling Salesman Problem (TSP). This paper addresses the scalability challenge in large-scale combinatorial optimization by proposing a novel approach, namely, DIMES. Unlike previous DRL methods which suffer from costly autoregressive decoding or iterative refinements of discrete solutions, DIMES introduces a compact continuous space for parameterizing the underlying distribution of candidate solutions. Such a continuous space allows stable REINFORCE-based training and fine-tuning via massively parallel sampling. We further propose a meta-learning framework to enable the effective initialization of model parameters in the fine-tuning stage. Extensive experiments show that DIMES outperforms recent DRL-based methods on large benchmark datasets for Traveling Salesman Problems and Maximal Independent Set problems.

연구 동기 및 목표

• 기존 딥 강화학습(DRL) 솔버가 수백 개 노드를 초과하면 성능이 급격히 떨어지는 문제를 해결하기 위해, NP-난이도 조합 최적화 문제의 확장성 한계를 극복한다.
• 자기연쇄 DRL 솔버에서 발생하는 희박한 보상과 높은 디코딩 비용 문제를 해결하기 위해, 솔루션 분포의 연속적이고 미분 가능한 매개변수화 방식을 도입한다.
• 각 그래프를 별도의 작업으로 간주하는 새로운 메타학습 프레임워크를 통해 모델 파라미터의 효과적인 미세조정을 가능하게 한다.
• 지도 학습 데이터나 수작업으로 만든 휴리스틱에 의존하지 않고도 국소적으로 분해 가능한 문제(MIS 등)와 비분해 가능한 문제(TSP 등) 모두에서 뛰어난 성능을 달성한다.

제안 방법

• 후보 솔루션의 분포를 압축된 연속 공간으로 매개변수화하여, 미분 가능한 샘플링과 안정적인 REINFORCE 기반 정책 그래เดียน트 업데이트를 가능하게 한다.
• 모델 파라미터 θ를 한 번에 생성하는 방식으로 자동회귀 정책을 정의하여, 완전한 솔루션으로 향하는 유효한 부분 솔루션을 단계적으로 구성한다.
• 정책 그래디언트의 분산을 줄이고 훈련 안정성을 향상시키기 위해, 온정책 및 대량 병렬 샘플링을 적용한 REINFORCE 알고리즘을 사용한다.
• 각 조합 최적화 문제 인스턴스를 작업으로 간주하는 메타학습 프레임워크를 도입하여, 미세조정 시 모델 파라미터의 효과적인 초기화를 가능하게 한다.
• 자기연쇄 구조를 활용해 부분 솔루션을 단계적으로 확장하며, 유효한 이동에 대한 학습된 정책을 통해 타당성을 보장한다.
• 정수 계획법과 같은 다중 값 문제에 대해는 정수 변수를 비트 시퀀스로 이진 인코딩하여 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 솔루션 분포의 유연하고 연속적인 매개변수화 방식이 조합 최적화 문제의 확장 가능한 훈련 및 추론을 가능하게 할 수 있는가?
• RQ2 제안된 메타학습 전략은 다양한 CO 문제 인스턴스 간의 일반화 능력과 미세조정 성능을 어떻게 향상시키는가?
• RQ3 지도 학습 솔루션 없이 훈련된 강화학습 솔버가 대규모 TSP 및 MIS 문제에서 지도 학습 및 휴리스틱 기반 베이스라인을 얼마나 뛰어나게 성능을 내는가?
• RQ4 연속적 매개변수화 방식이 자동회귀 DRL 솔버의 한계를 초월해 수천 개의 노드를 포함한 그래프로 효과적으로 확장 가능한가?

주요 결과

• DIMES는 대규모 TSP 벤치마크 데이터셋에서 최근 DRL 기반 솔버들을 능가하며, 최대 10,000개 노드의 그래프에서 거의 최적의 솔루션을 달성한다.
• 최대 독립 집합(MIS) 문제에서는 전용 신경망 솔버들과 경쟁 가능한 성능을 기록했으며, 대규모 ER-[9000-11000] 그래프에서 지도 학습 기반 베이스라인인 Intel를 능가한다.
• 대부분의 이전 DRL 솔버들이 수백 개 노드 이내에서 성능이 급격히 떨어지는 것과는 달리, DIMES는 수천 개 노드의 그래프까지 성공적으로 확장 가능하다.
• 지도 학습 기반 솔루션의 지도 없이도, 보상 신호에서 유도된 REINFORCE 기반 정책 그래디언트에 의존하여 뛰어난 성능을 달성한다.
• 메타학습 프레임워크 덕분에 더 빠르고 효과적인 미세조정이 가능해져 다양한 문제 인스턴스 간의 일반화 능력이 향상된다.
• 일반성은 유지하나, LwD가 국소적으로 분해 가능한 문제에 대해 병렬 예측을 특화해 사용하는 점을 고려하면, DIMES는 대규모 MIS 문제에서는 LwD에 비해 성능이 열등한 것으로 나타나, 일반성과 효율성 사이의 상충 관계를 보여준다.