[논문 리뷰] Graph Coarsening with Neural Networks

Chen Cai, Dingkang Wang외 1명|arXiv (Cornell University)|2021. 02. 02.

Advanced Graph Neural Networks참고 문헌 60인용 수 13

한 줄 요약

이 논문은 다양한 메트릭, 감소 비율, 그래프 유형에서 근본적으로 향상된 코arsening 품질을 달성하기 위해 그래프 신경망을 사용해 코arse 그래프의 최적 엣지 가중치를 학습하는 데이터 기반 그래프 코arsening 프레임워크인 GOREN을 제안한다. 기존 방법들이 코어스 그래프의 가중치를 고정하는 데 반해, GOREN은 비지도 학습 방식으로 적응적으로 가중치를 할당하는 GNN을 훈련함으로써 최신 기술 수준의 성능을 달성하고, 훈련 데이터보다 최대 25배 큰 그래프로 일반화할 수 있다.

ABSTRACT

As large-scale graphs become increasingly more prevalent, it poses significant computational challenges to process, extract and analyze large graph data. Graph coarsening is one popular technique to reduce the size of a graph while maintaining essential properties. Despite rich graph coarsening literature, there is only limited exploration of data-driven methods in the field. In this work, we leverage the recent progress of deep learning on graphs for graph coarsening. We first propose a framework for measuring the quality of coarsening algorithm and show that depending on the goal, we need to carefully choose the Laplace operator on the coarse graph and associated projection/lift operators. Motivated by the observation that the current choice of edge weight for the coarse graph may be sub-optimal, we parametrize the weight assignment map with graph neural networks and train it to improve the coarsening quality in an unsupervised way. Through extensive experiments on both synthetic and real networks, we demonstrate that our method significantly improves common graph coarsening methods under various metrics, reduction ratios, graph sizes, and graph types. It generalizes to graphs of larger size ($25 imes$ of training graphs), is adaptive to different losses (differentiable and non-differentiable), and scales to much larger graphs than previous work.

연구 동기 및 목표

• 기존 그래프 코어스닝 방법에서 고정된, 최적화되지 않은 엣지 가중치 할당 방식의 한계를 해결하기 위해.
• 그래프 신경망을 사용해 엣지 가중치를 학습하는 데이터 기반의 비지도 학습 프레임워크를 개발하기 위해.
• 특정 그래프 성질을 유지하기 위해 라플라시안 연산자 및 투영/리프트 맵을 적응적으로 조정함으로써 코어스닝 품질을 향상시키기 위해.
• 훈련 데이터의 그래프보다 최대 25배 큰 그래프로 일반화할 수 있도록 하고, 다양한 손실 함수에 적응 가능하도록 하기 위해.
• 이전 방법보다 더 큰 그래프로 확장하면서도 다양한 평가 메트릭에서 높은 품질의 코어스닝을 유지하기 위해.

제안 방법

• 리프트 맵에 대해 목표 기능 F의 불변성을 기반으로 코어스닝 품질을 측정하는 프레임워크를 제안하며, 이는 투영/리프트 연산자 및 코어스 그래프 라플라시안의 신중한 선택을 요구한다.
• 비지도 학습 방식으로 훈련되는, 미분 가능한 GNN 기반의 가중치 할당 맵을 도입하여 코어스 그래프의 엣지 가중치를 학습한다.
• 원본 그래프와 코어스닝된 노드 집합을 입력으로 받아 최적화된 가중치를 생성하는 GNN으로 코어스 그래프 엣지 가중치 할당을 매개변수화한다.
• 주요 손실 함수가 비미분 가능할 경우에도 최적화가 가능하도록, 미분 가능한 보조 손실을 사용하여 GNN을 훈련시킨다.
• 코어스 그래프에 이중 가중치 라플라시안 연산자를 사용하여 표준 라플라시안을 일반화하고, 더 나은 스펙트럼 근사치를 가능하게 한다.
• 재훈련 없이도 새로운 더 큰 그래프에 훈련된 GNN을 적용하여, 훈련된 그래프 크기보다 훨씬 큰 그래프에 대해 제로샷 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 그래프 코어스닝에서 학습된 데이터 기반 엣지 가중치 할당 방식이 고정 가중치 방법보다 뚜렷이 뛰어난 성능을 보일 수 있는가?
• RQ2 라플라시안 연산자 및 투영/리프트 맵의 선택이 코어스된 그래프의 품질에 어떤 영향을 미치는가?
• RQ3 GNN 기반의 가중치 할당 메커니즘은 훈련 세트보다 훨씬 큰 그래프로 일반화될 수 있는가?
• RQ4 이 방법은 다양한 유형의 그래프와 감소 비율에서 성능을 유지하는가?
• RQ5 비미분 가능한 목표 함수를 최적화하기 위해, 미분 가능한 보조 손실을 사용할 수 있는가?

주요 결과

• GOREN은 고유값 오차, 스펙트럼 유사도, 이차형식 보존 등 모든 테스트 메트릭에서 코어스닝 품질을 향상시키며, 향상률은 3.1%에서 88.6%까지 다양하다.
• 0.7 감소 비율을 가진 PubMed 데이터셋에서, GOREN은 기준 방법 대비 고유값 오차를 260.2% 감소시켰다.
• Flickr 데이터셋에서, 국소 변동성(엣지) 목표 함수를 사용할 경우 0.7 감소 비율에서 고유값 오차를 92.2% 감소시켰다.
• 훈련 그래프보다 최대 25배 큰 그래프로도 일반화되며, 재훈련 없이도 높은 성능을 유지한다.
• 비미분 가능한 손실 함수의 경우에도, 미분 가능한 보조 손실을 사용해 훈련하면 뚜렷한 성능 향상이 이루어져 강건성을 입증했다.
• 시각화 결과, 학습된 가중치가 원본 그래프의 고유값과 특히 첫 40개 고유값에서 더 잘 일치함을 확인할 수 있었다.