[논문 리뷰] Can Hybrid Geometric Scattering Networks Help Solve the Maximum Clique Problem?

Yimeng Min, Frederik Wenkel외 2명|arXiv (Cornell University)|2022. 06. 03.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 NP-완전 최대 클리크(MC) 문제의 효율적 근사해를 도출하기 위해 하이브리드 기하학적 산란 기반 그래프 신경망(GNN)을 제안한다. 밴드패스 웨이블릿 필터와 GCN 유형의 컨볼루션을 결합함으로써 과도한 스무딩 문제를 완화하고 정확한 노드 표현 학습을 가능하게 하며, 이로 인해 최신 기준을 초월하는 정확도와 추론 속도를 달성한다. 이는 이전 GNN 모델 대비 0.04–0.07%의 파라미터만을 사용하면서도 대규모이고 복잡한 그래프에서 Gurobi 및 휠씬 더 빠른 휠러스티브 솔버를 능가한다.

ABSTRACT

We propose a geometric scattering-based graph neural network (GNN) for approximating solutions of the NP-hard maximum clique (MC) problem. We construct a loss function with two terms, one which encourages the network to find highly connected nodes and the other which acts as a surrogate for the constraint that the nodes form a clique. We then use this loss to train an efficient GNN architecture that outputs a vector representing the probability for each node to be part of the MC and apply a rule-based decoder to make our final prediction. The incorporation of the scattering transform alleviates the so-called oversmoothing problem that is often encountered in GNNs and would degrade the performance of our proposed setup. Our empirical results demonstrate that our method outperforms representative GNN baselines in terms of solution accuracy and inference speed as well as conventional solvers like Gurobi with limited time budgets. Furthermore, our scattering model is very parameter efficient with only $\sim$ 0.1\% of the number of parameters compared to previous GNN baseline models.

연구 동기 및 목표

• 딥 러닝을 활용해 NP-완전 최대 클리크(MC) 문제를 효율적으로 해결하는 데 도전한다.
• 클리크 탐색 작업에서 노드의 구별 능력을 저해하는 표준 GNN의 과도한 스무딩 문제를 극복한다.
• 대규모이고 복잡한 그래프에서 고정밀도로 MC를 근사할 수 있는 파라미터 효율적이고 빠른 추론 모델을 설계한다.
• 기하학적 산란 변환을 활용해 클리크 탐지에 유리한 노드 표현의 구별 능력을 향상시킨다.
• 비지도 GNN 학습과 제약 조건을 유지하는 디코더를 조합한 이중 단계 프레임워크를 개발한다.

제안 방법

• 모델은 그래프 컨volution 네트워크(GCN)와 기하학적 산란 필터를 융합한 하이브리드 아키텍처를 사용하여 그래프 구조에서 다중 척도의 밴드패스 특징을 추출한다.
• 이중 항 손실 함수가 사용되며, 하나의 항은 예측된 노드의 높은 연결성을 유도하고, 다른 항은 클리크 제약 조건의 대체 함수로 작용한다.
• 산란 변환은 웨이블릿 기반 필터를 통합하여 구조적 경계를 유지함으로써 과도한 스무딩을 감소시키고 노드 표현의 구별 능력을 향상시킨다.
• 노드 표현은 [0,1]^n 내 확률 벡터로 학습되며, 최대 클리크에 속할 가능성의 정도를 나타낸다.
• 규칙 기반의 근사적 디코더는 확률이 가장 높은 노드를 선택하여 최종 클리크를 추출하며, 예측 후에 클리크 제약 조건을 강제로 적용한다.
• 모델는 목표 문제의 NP-완전성에도 불구하고, 미분 가능한 손실 함수를 통해 엔드 투 엔드로 훈련되어 효율적인 최적화가 가능하다.

실험 결과

연구 질문

• RQ1 기하학적 산란 기반 GNN 아키텍처는 조합 최적화 문제에 있어 그래프 신경망의 과도한 스무딩 문제를 효과적으로 완화할 수 있는가?
• RQ2 밴드패스 웨이블릿 필터를 통합함으로써 복잡한 그래프에서 최대 클리크를 식별하기 위한 노드 표현의 품질이 향상되는가?
• RQ3 최소한의 파라미터를 가진 하이브리드 GNN은 최신 기준 GNN 및 Gurobi와 같은 전통적 솔버에 비해 뛰어난 추론 속도와 정확도를 달성할 수 있는가?
• RQ4 다양한 그래프 복잡도 수준(easy, medium, hard)에서 제안된 모델의 성능은 어떻게 스케일링되는가?
• RQ5 제약 조건을 유지하는 디코더를 사용할 경우, 표준 디코딩 전략에 비해 솔루션 품질은 어느 정도 향상되는가?

주요 결과

• LARGE-hard 데이터셋에서 모델은 0.975 ± 0.050의 근사 점수를 기록하여 모든 다른 신경망 기준 모델을 능가했다.
• 동일한 데이터셋에서 RUN-CSP(정확한 솔루션)보다 12배 더 빠른 속도로 솔루션을 추론했다.
• 동일한 데이터셋에서 Gurobi와 휠러스티브 솔버(Xu et al., 2005)는 더 높은 정확도를 기록했지만, 각각 131배와 49배 더 오랜 추론 시간이 소요되었다.
• COLLAB 데이터셋에서 모델은 단 1,001개의 파라미터만을 사용하여 Erdös의 GNN 기준 모델(1,880,709개 파라미터)의 0.05%에 불과했다.
• IMDB 데이터셋에서 모델은 705개의 파라미터로 0.972 ± 0.259의 근사 점수를 기록했으며, 속도와 정확도 면에서 GNN 기준 모델을 크게 능가했다.
• 하이브리드 산란 모델은 모든 서브-데이터셋(easy, medium, hard)에서 높은 성능을 유지했으며, 특히 중간 및 어려운 인스턴스에서 가장 큰 성능 격차를 보였다.