[논문 리뷰] A Unified Framework for Optimization-Based Graph Coarsening

M. Kumar, Anurag Sharma외 1명|arXiv (Cornell University)|2022. 10. 02.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

이 논문은 그래프 구조와 노드 특징을 통합하여 원본 그래프의 스펙트럼 유사성과 $\varepsilon$-유사성을 보장하는 최적화 기반 프레임워크를 제안한다. 블록 주요화-최소화 방법을 사용하여 로그 행렬식, 딜레르흐 에너지 및 정규화를 통합함으로써 다중 블록 비볼록 최적화 문제를 해결하며, 이는 증명 가능한 수렴성과 실제 응용 분야에서 강력한 경험적 성능을 달성한다.

ABSTRACT

Graph coarsening is a widely used dimensionality reduction technique for approaching large-scale graph machine learning problems. Given a large graph, graph coarsening aims to learn a smaller-tractable graph while preserving the properties of the originally given graph. Graph data consist of node features and graph matrix (e.g., adjacency and Laplacian). The existing graph coarsening methods ignore the node features and rely solely on a graph matrix to simplify graphs. In this paper, we introduce a novel optimization-based framework for graph dimensionality reduction. The proposed framework lies in the unification of graph learning and dimensionality reduction. It takes both the graph matrix and the node features as the input and learns the coarsen graph matrix and the coarsen feature matrix jointly while ensuring desired properties. The proposed optimization formulation is a multi-block non-convex optimization problem, which is solved efficiently by leveraging block majorization-minimization, $\log$ determinant, Dirichlet energy, and regularization frameworks. The proposed algorithms are provably convergent and practically amenable to numerous tasks. It is also established that the learned coarsened graph is $ε\in(0,1)$ similar to the original graph. Extensive experiments elucidate the efficacy of the proposed framework for real-world applications.

연구 동기 및 목표

• 기존의 그래프 굴곡 방법이 노드 특징을 忽시하고 단지 그래프 행렬에 의존하는 한계를 해결하기 위해.
• 공동 최적화를 통해 굴곡된 그래프 행렬과 특징 행렬을 동시에 최적화함으로써 그래프 학습과 차원 축소를 통합하기 위해.
• 굴곡된 그래프가 스펙트럼 유사성과 $\varepsilon$-유사성과 같은 핵심 성질을 유지하도록 보장하기 위해.
• 그래프 행렬과 특징 행렬을 동시에 처리할 수 있는 증명 가능한 수렴성 알고리즘을 개발하기 위해.
• 확장 가능한 성능과 후속 작업의 유용성을 향상시키기 위해 특징 차원 축소를 그래프 굴곡과 함께 가능하게 하기 위해.

제안 방법

• 이 프레임워크는 재구성 오차, 스펙트럼 유사성, 정규화 항을 동시에 최소화하는 다중 블록 비볼록 최적화 문제로 그래프 굴곡을 공식화한다.
• 수렴을 보장하기 위해 블록 주요화-최소화 방법을 사용하여 굴곡 행렬 $C$와 굴곡된 특징 행렬 $\tilde{X}$를 반복적으로 최적화한다.
• 목적 함수는 낮은 랭크 구조를 촉진하기 위해 로그 행렬식 항, 부드러움을 유지하기 위해 딜레르흐 에너지 항, 희박성을 장려하기 위해 $\ell_1$-정규화 항을 포함한다.
• 비음성 제약 조건, 행별 $\ell_2$-노름 범위 제약 조건, 기하학적 구조 유지에 기여하는 직교성 유사 성질을 포함하는 제약 조건을 설정한다.
• 특징 차원 축소를 처리하기 위해 굴곡된 특징 행렬과 그 차원을 함께 최적화함으로써 방법을 확장한다.
• KKT 조건을 유도하고 이를 사용하여 알고리즘의 극한 점이 최적성 조건을 만족함을 증명함으로써 이론적 수렴성을 확립한다.

실험 결과

연구 질문

• RQ1 통합 최적화 프레임워크는 그래프 구조와 노드 특징을 동시에 굴곡하면서도 핵심 그래프 성질을 유지할 수 있는가?
• RQ2 그래프의 구조와 특징을 모두 활용하여 스펙트럼 유사성과 $\varepsilon$-유사성을 수학적으로 어떻게 강제할 수 있는가?
• RQ3 공동 그래프 및 특징 굴곡을 위한 다중 블록 비볼록 설정에서 수렴을 보장하는 최적화 전략은 무엇인가?
• RQ4 노드 특징을 통합할 경우 실제 응용 분야의 후속 작업에서 굴곡된 그래프의 품질이 얼마나 향상되는가?
• RQ5 이 프레임워크는 그래프 구조와 노드 특징 간의 관계를 유지하면서도 동시에 특징 차원을 축소할 수 있는가?

주요 결과

• 제안된 프레임워크는 굴곡된 그래프와 원본 그래프 간에 $\varepsilon$-유사성을 달성하며, $\epsilon \in (0,1)$ 이므로 구조적 충실도를 보장한다.
• 알고리즘은 증명 가능한 수렴성을 보이며, 극한 점이 최적화 문제의 KKT 조건을 만족한다.
• 광범위한 실험을 통해 실제 그래프 데이터셋에서의 효능이 입증되었으며, 특징에 무관한 굴곡 방법보다 뛰어난 성능을 보였다.
• 그래프 및 특징 행렬의 공동 최적화는 동질성과 부드러움 성질을 유지한다. 이는 노드 특징을 忽시하는 방법에서 손실되는 성질이다.
• 특징 차원 축소가 부가적으로 가능하여 압축되고 정보가 풍부한 표현을 가능하게 한다.
• 이론적 분석을 통해 $\|\tilde{X}\|_{\Theta_c} \in [(1-\epsilon)\|X\|_{\Theta}, (1+\epsilon)\|X\|_{\Theta}]$ 임을 확인함으로써 특징 노름의 유한한 유지가 보장된다.