[논문 리뷰] Graph Learning for Combinatorial Optimization: A Survey of State-of-the-Art

Yün Peng, Byron Choi외 1명|arXiv (Cornell University)|2020. 08. 26.

Advanced Graph Neural Networks참고 문헌 88인용 수 6

한 줄 요약

이 종합 검토는 조합 최적화(CO) 문제를 해결하기 위한 그래프 학습 방법에 대한 포괄적인 개요를 제공하며, 최근의 접근 방식을 두 단계 프레임워크로 분류한다: 그래프 표현 학습(그래프 임베딩 또는 엔드 투 엔드 학습을 통해)과 이후 비자기적 또는 자기적 방법을 사용한 해법 예측. 주요 기여는 최신 기술에 대한 체계적인 분류 체계로, 일반화, 과제 특정 설계, 기존 휴리스틱과의 통합 등 향후 연구 방향을 포함해 그 메커니즘과 한계를 강조한다.

ABSTRACT

Graphs have been widely used to represent complex data in many applications. Efficient and effective analysis of graphs is important for graph-based applications. However, most graph analysis tasks are combinatorial optimization (CO) problems, which are NP-hard. Recent studies have focused a lot on the potential of using machine learning (ML) to solve graph-based CO problems. Most recent methods follow the two-stage framework. The first stage is graph representation learning, which embeds the graphs into low-dimension vectors. The second stage uses ML to solve the CO problems using the embeddings of the graphs learned in the first stage. The works for the first stage can be classified into two categories, graph embedding (GE) methods and end-to-end (E2E) learning methods. For GE methods, learning graph embedding has its own objective, which may not rely on the CO problems to be solved. The CO problems are solved by independent downstream tasks. For E2E learning methods, the learning of graph embeddings does not have its own objective and is an intermediate step of the learning procedure of solving the CO problems. The works for the second stage can also be classified into two categories, non-autoregressive methods and autoregressive methods. Non-autoregressive methods predict a solution for a CO problem in one shot. A non-autoregressive method predicts a matrix that denotes the probability of each node/edge being a part of a solution of the CO problem. The solution can be computed from the matrix. Autoregressive methods iteratively extend a partial solution step by step. At each step, an autoregressive method predicts a node/edge conditioned to current partial solution, which is used to its extension. In this survey, we provide a thorough overview of recent studies of the graph learning-based CO methods. The survey ends with several remarks on future research directions.

연구 동기 및 목표

• 그래프에서 NP-완전 조합 최적화 문제를 해결하기 위한 최근 기계학습 기반 접근 방식에 대한 체계적인 리뷰를 제공하는 것.
• 대부분의 현재 그래프 학습 기반 CO 방법에서 사용되는 두 단계 프레임워크인 그래프 표현 학습 이후 해법 예측의 분류 및 분석.
• 다양한 CO 문제에 적합한 일반화, 손실 함수 설계, 모델 아키텍처 적응에 있어 주요 과제를 규명하는 것.
• 글로벌 그래프 구조 인코딩, 기존 휴리스틱과의 통합, 대규모 그래프 세트에의 스케일링과 같은 열린 연구 문제를 부각하는 것.

제안 방법

• 그래프 표현 학습을 두 유형으로 분류한다: 독립적인 목표를 가진 그래프 임베딩 방법과 CO 과제와 함께 공동 최적화되는 엔드 투 엔드 학습 방법.
• 해법 예측을 비자기적 방법과 자기적 방법으로 분류한다. 비자기적 방법은 확률 매트릭스를 사용해 한 번에 해법 매트릭스를 예측하고, 자기적 방법은 부분 해를 반복적으로 확장한다.
• SkipGram 기반 방법, 오토에인코더 기반 방법, GNN 기반 표현을 포함한 핵심 기법들을 검토한다.
• 부분 해 확장을 안내하기 위해 자기를적 방법에서 휴리스틱 검색과 강화 학습의 사용을 분석한다.
• 교차 엔트로피와 같은 손실 함수를 검토하며, 특히 TSP와 같은 문제에서 소규모 변화가 해법 품질에 크게 영향을 주기 때문에 CO 문제 목표를 포괄하지 못하는 한계를 제기한다.
• 향후 방법론적 방향으로 문제 특정 손실 함수 설계와 기존 휴리스틱 연산(예: 2-opt, farthest insertion)을 학습 파ip라인에 통합하는 것을 제안한다.

실험 결과

연구 질문

• RQ1 그래프 표현 학습 기법은 하류 조합 최적화 과제에 적용될 때 목표와 적용 가능성 면에서 어떻게 다를까?
• RQ2 그래프 기반 CO에서 비자기적 및 자기를적 해법 예측 방법 간의 핵심 차이점과 상호 대체적 특성은 무엇인가?
• RQ3 기존 휴리스틱에 비해 현재 학습 기반 CO 방법이 더 큰 또는 새로운 그래프에 일반화하기 어려운 이유는 무엇인가?
• RQ4 조합 최적화 문제의 머신러닝 파ip라인에 기존 휴리스틱 알고리즘을 효과적으로 통합하여 성능을 향상시킬 수 있는 방법은 무엇인가?
• RQ5 그래프 학습 기반 CO 방법의 일반화 및 확장성 향상에 가장 유망한 방향은 무엇인가?

주요 결과

• 비자기적 방법은 한 번의 단계에서 해법 매트릭스를 예측하며, 빔 서치와 같은 휴리스틱을 통해 해를 도출한다. 이는 빠른 추론을 가능하게 하지만 잠재적으로 최적해가 아닐 수 있다.
• 자기를적 방법은 강화 학습 또는 휴리스틱 검색을 활용해 부분 해를 반복적으로 확장한다. 이는 더 나은 해법 품질을 가능하게 하지만 더 높은 추론 시간을 요구한다.
• 엔드 투 엔드 학습 방법은 CO 과제에 특화된 그래프 임베딩을 학습하지만, 그래프 임베딩 방법은 고정된 사전 학습된 표현을 사용하므로 성능의 상호 대체 특성이 다르다.
• 현재 방법들은 대규모 또는 새로운 그래프에서 기존 휴리스틱에 비해 성능이 열등한 편이므로, 학습 파이프라인의 일반화 능력 향상이 절실한 필요성이 있다.
• 2-opt나 farthest-first insertion와 같은 기존 휴리스틱을 학습 모델에 통합하면 해법 품질을 크게 향상시킬 수 있으며, TSP 적용 사례에서 이를 입증했다.
• 표준 손실 함수(예: 교차 엔트로피)는 TSP와 같은 CO 문제의 진정한 목표를 반영하지 못할 수 있으므로, 문제 특정 손실 함수 설계가 필수적이다.