[논문 리뷰] GAP: Generalizable Approximate Graph Partitioning Framework

Azade Nazi, Will Hang외 3명|arXiv (Cornell University)|2019. 03. 02.

Advanced Graph Neural Networks참고 문헌 37인용 수 35

한 줄 요약

GAP는 그래프 임베딩으로 미분 가능하게 이완된 정규화된 컷 손실을 최적화하여 그래프를 분할하는 방법을 학습하며, 이를 통해 보이지 않는 그래프에 일반화하고 baselines보다 추론이 더 빠르다.

ABSTRACT

Graph partitioning is the problem of dividing the nodes of a graph into balanced partitions while minimizing the edge cut across the partitions. Due to its combinatorial nature, many approximate solutions have been developed, including variants of multi-level methods and spectral clustering. We propose GAP, a Generalizable Approximate Partitioning framework that takes a deep learning approach to graph partitioning. We define a differentiable loss function that represents the partitioning objective and use backpropagation to optimize the network parameters. Unlike baselines that redo the optimization per graph, GAP is capable of generalization, allowing us to train models that produce performant partitions at inference time, even on unseen graphs. Furthermore, because we learn the representation of the graph while jointly optimizing for the partitioning loss function, GAP can be easily tuned for a variety of graph structures. We evaluate the performance of GAP on graphs of varying sizes and structures, including graphs of widely used machine learning models (e.g., ResNet, VGG, and Inception-V3), scale-free graphs, and random graphs. We show that GAP achieves competitive partitions while being up to 100 times faster than the baseline and generalizes to unseen graphs.

연구 동기 및 목표

• 그래프 특화 휴리스틱 없이 다양하게 분포된 그래프 유형에서 효율적이고 균형 잡힌 그래프 분할의 필요성을 제시한다.
• 분할을 위한 정규화된 컷과 균형 목표를 포착하는 미분 가능 손실을 공식화한다.
• 그래프 구조와 특징으로부터 노드를 파티션에 할당하도록 학습하는 신경망 모델을 개발한다.
• 보지 못한 그래프 및 미지의 크기에 대한 일반화를 입증하고 그래프당 최적화 시간을 감소시킨다.

제안 방법

• 각 노드가 각 파티션에 속할 확률을 갖는 소프트 파티션 행렬 Y를 사용하여 기대되는 정규화된 컷에 기반한 미분 가능 손실을 정의한다.
• 그래프 인접성 및 차수 정보를 사용하여 Y를 이용해 기대 컷과 볼륨을 계산하고, 정규화된 컷의 미분 가능 근사를 가능하게 한다.
• 균등한 파티션 크기(n/g per partition)에서의 편차를 페널티로 추가하는 균형 항을 포함한다.
• 그래프 임베딩 모듈(GCN 또는 GraphSAGE)을 사용하여 그래프 구조와 특징으로부터 노드 표현을 생성한다.
• 손실을 최소화하도록 학습되는 Y를 출력하는 소프트맥스가 있는 Dense 계층으로 구성된 파티션 모듈을 연결한다.
• 비지도 임베딩을 위한 임베딩 모듈과 파티션 모듈 사이의 그래디언트 흐름을 차단하여 학습을 허용하고, 대규모 그래프에 대해 미니배치 추론을 지원한다.

실험 결과

연구 질문

• RQ1 엣지 커트를 최소화하면서 균형 잡힌 파티션으로 그래프를 분할하도록 신경망을 엔드-투-엔드로 학습시킬 수 있는가?
• RQ2 정규화된 컷의 미분 가능 이완이 보이지 않는 그래프와 크기에 대한 일반화를 가능하게 하는가?
• RQ3 그래프 임베딩(GCN, GraphSAGE)이 파티션 품질 및 그래프 간 전이성에 어떤 영향을 미치는가?
• RQ4 hMETIS와 같은 전통적 솔버와 비교했을 때 추론 속도와 파티션 품질의 트레이드오프는 무엇인가?
• RQ5 노드 특징(예: TensorFlow 연산 유형)이나 구조적 유사성이 일반화에 얼마나 도움이 되는가?

주요 결과

• GAP는 실제 그래프와 합성 그래프에서 경쟁력 있는 엣지 커트와 매우 균형 잡힌 파티션을 달성한다.
• GAP는 훈련 그래프에서 보지 못한 그래프와 크기로 일반화할 수 있으며, 대형 미지의 계산 그래프에서 종종 4–6%의 엣지 커트를 달성한다.
• Inception-v3, ResNet, MNIST-conv, AlexNet, 및 VGG는 하나의 그래프로 학습하고 다른 그래프에 적용했을 때 GAP 일반화를 보인다.
• GAP 추론은 많은 설정에서 hMETIS보다 최대 10–100배 더 빨라지며, 파티션 품질도 유사하거나 더 우수하다.
• GraphSAGE 기반 임베딩이 보지 못한 그래프에서 최고의 일반화 성능을 보여준다.
• 훈련 그래프와 테스트 그래프 사이의 유사성(Jaccard 유사도 등)이 증가하면 일반화가 향상된다.