[논문 리뷰] Learning fine-grained search space pruning and heuristics for combinatorial optimization

Juho Lauri, Sourav Dutta외 2명|arXiv (Cornell University)|2020. 01. 05.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 조합 최적화 문제—특히 최대 클리크 문제—에서 관련이 없는 노드와 간선을 학습을 통해 국소적이고 특징 기반의 규칙을 적용하여 잘라내는 새로운 해석 가능한 기계학습 프레임워크를 제안한다. 이 방법은 탐색 공간을 줄이며 희박한 그래프에서 최대 99%의 잘라내기 성능을 달성하고, 최신 솔버보다 최대 5배 빠른 성능을 보이며, 이론적으로 이웃도수 카이제곱 값이 클리크 소속도를 매우 잘 예측함을 드러내어 새로운 우수한 휴리스틱을 가능하게 한다.

ABSTRACT

Combinatorial optimization problems arise in a wide range of applications from diverse domains. Many of these problems are NP-hard and designing efficient heuristics for them requires considerable time and experimentation. On the other hand, the number of optimization problems in the industry continues to grow. In recent years, machine learning techniques have been explored to address this gap. We propose a framework for leveraging machine learning techniques to scale-up exact combinatorial optimization algorithms. In contrast to the existing approaches based on deep-learning, reinforcement learning and restricted Boltzmann machines that attempt to directly learn the output of the optimization problem from its input (with limited success), our framework learns the relatively simpler task of pruning the elements in order to reduce the size of the problem instances. In addition, our framework uses only interpretable learning models based on intuitive features and thus the learning process provides deeper insights into the optimization problem and the instance class, that can be used for designing better heuristics. For the classical maximum clique enumeration problem, we show that our framework can prune a large fraction of the input graph (around 99 % of nodes in case of sparse graphs) and still detect almost all of the maximum cliques. This results in several fold speedups of state-of-the-art algorithms. Furthermore, the model used in our framework highlights that the chi-squared value of neighborhood degree has a statistically significant correlation with the presence of a node in a maximum clique, particularly in dense graphs which constitute a significant challenge for modern solvers. We leverage this insight to design a novel heuristic for this problem outperforming the state-of-the-art. Our heuristic is also of independent interest for maximum clique detection and enumeration.

연구 동기 및 목표

• NP-완전 조합 최적화 문제의 확장성 문제를 효율적인 탐색 공간 축소를 통해 해결하기 위해.
• 최적 해를 직접 예측하는 대신 해석 가능한 잘라내기 규칙을 학습하는 기계학습 프레임워크를 설계하기 위해.
• FMC(H)와 같은 정확한 솔버의 성능을 데이터 기반의 특징 기반 잘라내기 전략을 통해 향상시키기 위해.
• 해석 가능한 모델을 통해 인스턴스 클래스(예: 최대 클리크)에 대한 의미 있는 구조적 통찰을 도출하기 위해.
• 기존 최신 기술보다 뛰어난 성능을 보이는 최대 클리크 열거를 위한 새로운 휴리스틱을 개발하기 위해.

제안 방법

• 각 노드별로 국소적이고 해석 가능한 특징(예: 이웃도수, 카이제곱 값 등)을 계산하는 기반의 다단계 잘라내기 파이프라인을 사용한다.
• 기울기 부스팅 결정수형 모델을 학습하여 노드가 최대 클리크에 속할 가능성이 높은지 분류함으로써, 유망하지 않은 요소를 세밀하게 잘라낸다.
• 잘라내기 과정을 반복적으로 적용하여 기저 정확한 솔버(FMC(H) 등)를 실행하기 전에 그래프 크기를 줄인다.
• 입력 그래프를 사전 처리하는 방식으로 기존 솔버에 통합되며, 플러그인 형태의 가속화 계층으로 기능한다.
• 모델의 특징 기여도 분석을 통해 이웃도수의 카이제곱 값이 클리크 소속도에 통계적으로 유의미한 예측 변수임을 확인하였으며, 특히 솔버가 어려움을 겪는 조밀한 그래프에서 두드러진다.
• 잘라내기의 공격성과 해의 정확성의 균형을 맞추기 위해 MoMC(Multi-Objective Model Combination)를 프레임워크에 확장하였다.

실험 결과

연구 질문

• RQ1 복잡한 블랙박스 모델에 의존하지 않고도, 해석 가능한 국소적 특징을 활용해 조합 최적화 문제의 탐색 공간을 효과적으로 잘라낼 수 있는가?
• RQ2 학습 기반 잘라내기 전략이 최적 해를 유지하면서 NP-완전 문제 인스턴스의 크기를 얼마나 줄일 수 있는가?
• RQ3 최대 클리크에 포함될 가능성이 높은 노드를 예측하는 데 가장 예측력 있는 구조적 특징은 무엇이며, 이를 바탕으로 더 나은 휴리스틱을 설계할 수 있는가?
• RQ4 실제 및 시뮬레이션된 그래프에서 최신 기술 솔버와 비교해 본 결과, 제안된 잘라내기 전략은 속도 향상과 해의 품질 측면에서 어떤 성능을 보이는가?
• RQ5 학습된 모델의 통찰을 활용해 최대 클리크 열거를 위한 새로운, 더 뛰어난 휴리스틱을 설계할 수 있는가?

주요 결과

• 희박한 그래프에서 이 프레임워크는 평균적으로 99%의 노드 잘라내기를 달성하면서 거의 모든 최대 클리크를 유지하며 탐색 공간을 크게 줄였다.
• 실제 그래프에서 이 방법은 FMC(H) 대비 최대 5배 빠른 성능을 보였으며, ALTHEA+MoMC는 이전에 해결되지 않은 인스턴스에서도 최적 해를 도출하였다.
• 이웃도수의 카이제곱 값은 클리크 소속도에 통계적으로 유의미한 예측 변수로 규명되었으며, 특히 솔버가 어려움을 겪는 조밀한 그래프에서 두드러진다.
• FMC(H) 대비 ALTHEA는 조밀한 ER 무작위 그래프(크기 n=256, p=0.75)에서 정확도를 최대 6배 향상시켰으며, 70% 이상의 정확도를 달성한 반면 FMC(H)는 약 50%에 머물렀다.
• 조밀한 그래프(p=0.5)에서도 이 프레임워크는 최대 50%의 높은 잘라내기 비율을 유지하였으며, G(64,p) 그래프에서 FMC(H) 대비 최대 1.5배 빠른 실행 시간을 기록하였다.
• 모델의 통찰에서 유도된 새로운 휴리스틱 ALTHEA는 RMC의 완벽한 정확도와 높은 계산 비용에도 불구하고 속도와 해의 품질 측면에서 모두 RMC를 능가하였다.