[논문 리뷰] What's Wrong with Deep Learning in Tree Search for Combinatorial Optimization

Maximilian Böther, Otto Kißig외 4명|arXiv (Cornell University)|2022. 01. 25.

Advanced Graph Neural Networks인용 수 10

한 줄 요약

이 논문은 조합 최적화 문제, 특히 최대 독립 집합 문제에 대한 트리 탐색에서의 딥러닝을 비판적으로 평가한다. 영향력 있는 Intel-TreeSearch 알고리즘을 개선된 코드 품질로 재현하여, 그 그래프 신경망(GNN)이 의미 있는 해 구조를 학습하지 못함을 입증한다. GNN 출력을 무작위 값으로 대체해도 성능이 유사하게 유지되며, 핵심 발견은 딥러닝이 아닌 알고리즘 기법(예: 그래프 커퍼니케이션)이 해 품질을 결정한다는 것이다. 이는 이전의 딥러닝 기반 해법의 재현 가능성과 주장된 효용성에 의문을 제기한다.

ABSTRACT

Combinatorial optimization lies at the core of many real-world problems. Especially since the rise of graph neural networks (GNNs), the deep learning community has been developing solvers that derive solutions to NP-hard problems by learning the problem-specific solution structure. However, reproducing the results of these publications proves to be difficult. We make three contributions. First, we present an open-source benchmark suite for the NP-hard Maximum Independent Set problem, in both its weighted and unweighted variants. The suite offers a unified interface to various state-of-the-art traditional and machine learning-based solvers. Second, using our benchmark suite, we conduct an in-depth analysis of the popular guided tree search algorithm by Li et al. [NeurIPS 2018], testing various configurations on small and large synthetic and real-world graphs. By re-implementing their algorithm with a focus on code quality and extensibility, we show that the graph convolution network used in the tree search does not learn a meaningful representation of the solution structure, and can in fact be replaced by random values. Instead, the tree search relies on algorithmic techniques like graph kernelization to find good solutions. Thus, the results from the original publication are not reproducible. Third, we extend the analysis to compare the tree search implementations to other solvers, showing that the classical algorithmic solvers often are faster, while providing solutions of similar quality. Additionally, we analyze a recent solver based on reinforcement learning and observe that for this solver, the GNN is responsible for the competitive solution quality.

연구 동기 및 목표

• 재현성 위기를 해결하기 위해 표준화된 벤치마크 세트를 제공함으로써 조합 최적화 문제에 대한 딥러닝의 재현 가능성을 높이기 위해.
• 가이드드 트리 탐색에서 GNN이 실제로 해 품질을 향상시키는지, 아니면 알고리즘적 구성요소에서 기인하는지 철저히 평가하기 위해.
• NP-완전 문제에서 기계학습 기반 해법과 전통적 알고리즘 기반 해법 간의 속도와 해 품질을 비교하기 위해.
• 최근 강화학습 기반 접근법이 경쟁적인 성능을 내는 데 GNN이 필수적인지, 아니면 다른 요소가 더 중요한지 평가하기 위해.
• 최대 독립 집합 문제에 대한 미래의 해법 평가를 공정하고 확장 가능하며 재현 가능한 기반으로 마련하기 위해.

제안 방법

• 다섯 가지 최신 기술의 해법(이상적: Intel-TreeSearch, Gurobi, KaMIS, Learning What To Defer, 그리고 PyTorch/DGL 기반의 Intel-TreeSearch 재현본인 DGL-TreeSearch)을 지원하는 오픈소스이자 확장 가능한 벤치마크 세트를 개발하였다.
• 재현 가능성 확보와 체계적 아블레이션 연구를 위해 깔끔하고 모듈화되며 성능이 뛰어난 코드로 Intel-TreeSearch 알고리즘을 재현하였다.
• GNN 출력을 무작위 값으로 대체하여 성능에 미치는 영향을 평가하기 위해 철저한 아블레이션 실험을 수행하였다.
• 딥러닝 구성요소와의 영향을 분리하기 위해 트리 탐색 프레임워크 내에서 그래프 커퍼니케이션 및 기타 알고리즘 최적화를 적용하였다.
• 실세계 및 합성 그래프 데이터셋을 기반으로 다양한 그래프 유형에서 기계학습 기반 해법과 전통적 해법(Gurobi, KaMIS) 간의 성능을 비교하였다.
• 강화학습 기반 해법(Learning What To Defer)을 평가하여, GNN이 그 경쟁적 성능을 내는 데 필수적인지 여부를 확인하였다.

실험 결과

연구 질문

• RQ1 Intel-TreeSearch 알고리즘의 그래프 신경망은 최대 독립 집합 문제의 해 구조를 의미 있는 방식으로 학습하는가?
• RQ2 GNN 출력을 무작위 값으로 대체해도 가이드드 트리 탐색의 성능을 재현할 수 있는가? 이는 네트워크가 필수적이지 않음을 시사한다.
• RQ3 딥러닝 구성요소와 비교할 때, 그래프 커퍼니케이션과 같은 알고리즘 기법이 해 품질에 기여하는 정도는 어느 정도인가?
• RQ4 커퍼니케이션을 적용하지 않은 경우, 기존 알고리즘 기반 해법(Gurobi, KaMIS)이 동일한 벤치마크 그래프에서 딥러닝 기반 트리 탐색 기법보다 속도와 해 품질 측면에서 어떻게 비교되는가?
• RQ5 최근의 강화학습 기반 해법이 조합 최적화 문제에서 성공을 거두는 데 GNN 구성요소가 필수적인가, 아니면 다른 요소가 더 중요한가?

주요 결과

• Intel-TreeSearch 알고리즘의 GNN은 해 구조에 대한 의미 있는 표현을 학습하지 못한다. GNN 출력을 무작위 값으로 대체해도 해 품질이 거의 동일하게 유지된다.
• 트리 탐색에서 성능 향상의 주요 원인은 딥러닝 구성요소가 아니라 그래프 커퍼니케이션 및 기타 알고리즘 최적화 기법이다.
• 원래의 Intel-TreeSearch 논문 결과는 원본 코드 또는 재현된 코드 모두에서 재현되지 않으며, 이는 재현 불가능한 초모수 설정과 구현 오류에 기인한다.
• 커퍼니케이션을 적용하지 않은 경우, Gurobi 및 KaMIS와 같은 기존 알고리즘 기반 해법이 딥러닝 기반 트리 탐색 기법보다 속도와 해 품질 측면에서 뛰어나다.
• 강화학습 기반 해법인 Learning What To Defer는 빠른 속도로 경쟁적인 성능을 내며, GNN이 이 성능을 내기 위해 필수적임을 보여주며, GNN이 특정 학습 기반 프레임워크에서 효과적일 수 있음을 시사한다.
• 벤치마크 세트를 통해 다양한 그래프 유형에서 최대 독립 집합 문제에 대한 미래의 해법에 대해 공정하고 재현 가능하며 확장 가능한 평가 기반을 마련할 수 있다.