[논문 리뷰] A Unified Framework for Structured Graph Learning via Spectral Constraints

Sandeep Kumar, Jiaxi Ying외 2명|arXiv (Cornell University)|2019. 04. 22.

Advanced Graph Neural Networks참고 문헌 87인용 수 50

한 줄 요약

이 논문은 Laplacian과 인접 행렬에 대한 스펙트럴 제약을 통해 사전에 정의된 구조를 가진 그래프를 학습하도록 가우시안 그래프 모델과 스펙트럴 그래프 이론을 통합하는 unified framework를 제안한다.

ABSTRACT

Graph learning from data represents a canonical problem that has received substantial attention in the literature. However, insufficient work has been done in incorporating prior structural knowledge onto the learning of underlying graphical models from data. Learning a graph with a specific structure is essential for interpretability and identification of the relationships among data. Useful structured graphs include the multi-component graph, bipartite graph, connected graph, sparse graph, and regular graph. In general, structured graph learning is an NP-hard combinatorial problem, therefore, designing a general tractable optimization method is extremely challenging. In this paper, we introduce a unified graph learning framework lying at the integration of Gaussian graphical models and spectral graph theory. To impose a particular structure on a graph, we first show how to formulate the combinatorial constraints as an analytical property of the graph matrix. Then we develop an optimization framework that leverages graph learning with specific structures via spectral constraints on graph matrices. The proposed algorithms are provably convergent, computationally efficient, and practically amenable for numerous graph-based tasks. Extensive numerical experiments with both synthetic and real data sets illustrate the effectiveness of the proposed algorithms. The code for all the simulations is made available as an open source repository.

연구 동기 및 목표

• 해석 가능한 사전 정의된 구조를 가진 그래프를 학습할 필요성을 일반 그래프 학습보다 강조한다.
• 그래프 행렬의 스펙트럴 특성을 통해 구조적 제약을 부과하는 처리가 용이한 최적화 프레임워크를 개발한다.
• 조합적 제약을 Laplacian 및 adjacency 매트릭스의 스펙트럴 제약으로 변환하여 학습과 구조 추론을 통합한다.
• 다양한 구조화된 그래프와 실제 데이터 세트에 적용 가능한 수렴적이고 효율적인 알고리즘을 제공한다.

제안 방법

• Structured graph learning을 log det(g Θ) 최대화에서 trace(Θ S) 뺄샘, 그리고 α h(Θ) 를 제약 조건으로 Laplacian 구조에 Θ를 제약하는 형태로 구성한다.
• Θ(Laplacian) 및 Θ_A(인접 행렬)에 대한 고유값 집합을 통해 스펙트럴 제약을 적용하여 k-구성요소, 연결된 희소, d-정규, 코스펙트럼 구조를 가능하게 한다.
• 제약 최적화를Worst-case O(p^3) 복잡도와 비교 가능한 GLasso에 접근하기 위한 BSUM/블록 주요화 최소화 알고리즘을 개발한다.
• Laplacian 스펙트럴 제약(SGL), 인접 스펙트럴 제약(이분 학습용), 그리고 공동 Laplacian-인접 스펙트럴 제약(SGL-Joint)으로 포뮬레이션을 특화한다.
• 고유분해 Θ = U Diag(lambda) U^T 및 Θ_A = V Diag(psi) V^T를 이용하고 lambda와 psi에 적절한 제약 집합을 적용한다.
• 시뮬레이션 재현용 오픈소스 코드 제공: https://github.com/dppalomar/spectralGraphTopology

실험 결과

연구 질문

• RQ1 조합적 그래프 구조 제약을 그래프 행렬에 대한 해석적 스펙트럴 제약으로 재수식화할 수 있는가?
• RQ2 단일 최적화 프레임워크로 다중 구조(Class) (예: 다중 구성요소, 이분, 규칙적 등)를 동시에 학습할 수 있는가?
• RQ3 구조화된 그래프 학습에서 BSUM 기반 알고리즘의 수렴 특성과 계산 효율성은 어느 정도 달성되는가?
• RQ4 합성 데이터와 실제 데이터에서 제안된 방법이 클러스터링이나 네트워크 추론과 같은 작업에 얼마나 잘 작동하는가?
• RQ5 공동 Laplacian 및 인접 스펙트럴 제약이 복잡한 그래프 구조에 대해 어떤 함의를 가지는가?

주요 결과

• 구조 제약을 Laplacian 및 인접 행렬의 스펙트럴 제약으로 변환하여 최적화를 용이하게 한다.
• BSUM 기반 알고리즘은 이론적으로 수렴하며 계산 효율은 GLasso(O(p^3))에 비례하는 수준이다.
• 다중 구조 클래스(k-구성요소, 연결된 희소, d-정규, 이분 그래프)를 지원하며 코스펙트럼 시나리오로의 확장도 가능하다.
• 합성 데이터 및 실제 데이터에 대한 광범위한 실험에서 제안된 구조화 그래프 학습 방법의 효과를 입증한다.
• 재현을 위한 오픈소스 코드가 제공되어 시뮬레이션과 실험을 재현할 수 있다.