[논문 리뷰] Structured Graph Learning Via Laplacian Spectral Constraints

Sandeep Kumar, Jiaxi Ying외 2명|arXiv (Cornell University)|2019. 09. 24.

Advanced Graph Neural Networks인용 수 16

한 줄 요약

이 논문은 조합적 그래프 구조 제약을 그래프 라플라시안 행렬의 고유값 제약으로 변환함으로써 효율적이고 증명 가능하게 수렴하는 최적화를 가능하게 하는 새로운 프레임워크인 구조적 그래프 학습(SGL)을 제안한다. 스펙트럼 성질을 가우시안 그래픽 모델링과 융합함으로써 SGL은 표본 공분산 데이터로부터 희소성, 연결성, 군집성 또는 정규성 등을 갖는 그래프를 직접 학습할 수 있으며, 실제 및 시뮬레이션 데이터(예: 동물 인지 및 암 유전체학 데이터 포함)에서 최신 기법들을 능가한다.

ABSTRACT

Learning a graph with a specific structure is essential for interpretability and identification of the relationships among data. It is well known that structured graph learning from observed samples is an NP-hard combinatorial problem. In this paper, we first show that for a set of important graph families it is possible to convert the structural constraints of structure into eigenvalue constraints of the graph Laplacian matrix. Then we introduce a unified graph learning framework, lying at the integration of the spectral properties of the Laplacian matrix with Gaussian graphical modeling that is capable of learning structures of a large class of graph families. The proposed algorithms are provably convergent and practically amenable for large-scale semi-supervised and unsupervised graph-based learning tasks. Extensive numerical experiments with both synthetic and real data sets demonstrate the effectiveness of the proposed methods. An R package containing code for all the experimental results is available at https://cran.r-project.org/package=spectralGraphTopology.

연구 동기 및 목표

• 조합적 제약을 분석적으로 다룰 수 있는 라플라시안 행렬의 고유값 제약로 재구성함으로써, 구조적 그래프 학습의 NP-난이도 문제를 해결하기 위해.
• 희소성, 연결성, 군집성 또는 정규성 등을 포함한 다양한 그래프 가족을 하나의 스펙트럼 최적화 프레임워크 내에서 통합하기 위해.
• 사전 처리 또는 사후 처리 없이 표본 공분산 데이터로부터 그래프 구조와 가중치를 동시에 추정할 수 있는 계산적으로 효율적이고 증명 가능하게 수렴하는 알고리즘을 개발하기 위해.
• 비정규 분포 데이터에 대한 강건성과, 군집화 및 구조 식별 작업에서 최신 기법들에 비해 뛰어난 성능을 보여주기 위해.
• 재현 가능성과 대규모 학습 응용 분야에서의 실용적 구현을 위해 오픈소스 R 패키지를 제공하기 위해.

제안 방법

• 구조적 그래프 학습 문제를 그래프 라플라시안 행렬의 고유값에 대한 최적화 문제로 재구성함으로써, 이산적인 구조 제약(예: 연결성, 군집성)을 연속적인 스펙트럼 제약으로 변환한다.
• 그래프 라플라시안의 스펙트럼 성질과 스무스한 그래프 신호 분석 간의 연관성을 활용하여, 스펙트럼 정규화를 통해 사전 신호 정보를 통합할 수 있다.
• 핵심 최적화 문제에는 정밀도 행렬의 로그-결정력 우도와, 원하는 고유값 제약을 강제하는 스펙트럼 정규화 항이 통합되어 있다.
• 수렴성과 대규모 문제에 대한 확장성을 보장하는 ADMM(교차 승수법) 기반의 효율적인 알고리즘이 개발되었다.
• 스펙트럼 제약을 조정함으로써 다양한 그래프 가족을 지원할 수 있으며, 예를 들어 k-성분 군집화의 경우 최소 고유값 갭을 강제하거나, 연결성을 위해 고정된 수의 영 고유값을 설정할 수 있다.
• 사전에 계산된 유사도 행렬이나 임계값 설정 단계가 필요 없도록 표본 공분산 행렬을 입력으로 사용한다.

실험 결과

연구 질문

• RQ1 구조적 그래프 학습 문제는 그래프 라플라시안 행렬의 고유값에 대한 제약을 가진 최적화 문제로 재구성될 수 있는가?
• RQ2 라플라시안 고유값에 대한 스펙트럼 제약는 군집화, 연결성 또는 정규성 등의 다양한 그래프 가족을 효과적으로 표현할 수 있는가?
• RQ3 스펙트럼 제약 기반의 통합 최적화 프레임워크는 이론적 수렴성과 실용적 확장성 모두를 달성할 수 있는가?
• RQ4 실제 데이터에서 군집 정확도와 구조적 해석 가능성 측면에서 제안된 방법은 최신 기법들에 비해 어떻게 비교되는가?
• RQ5 기본 가우시안 마르코프 잡음 필드(GMRF) 가정이 위반될 경우, 비정규 분포 데이터를 얼마나 잘 다룰 수 있는가?

주요 결과

• SGL 알고리즘은 암 유전체학 데이터셋에서 클러스터링 정확도 0.99875를 달성하여 최신 기법인 CLR(0.9862)를 능가했으며, 구조 및 가중치 동시 추정에서 뛰어난 성능을 보였다.
• 동물 인지 데이터셋에서 k=5 성분을 사용한 SGL은 유사한 동물(예: 고등어/연어, 벌/나비)을 정확히 별도의 클러스터로 분류했으며, GLasso와 GGL은 과도한 희소성 정규화로 인해 분할된 그래프를 생성했다.
• k=1로 설정한 SGL은 희소성 구조를 유지하면서도 전역 연결성을 효과적으로 유지한 희소하지만 연결된 그래프를 생성했으며, 기존 방법들은 종종 그래프를 성분으로 분할하는 경향이 있었다.
• 비정규 분포의 이진 카테고리 데이터(예: 동물 특성)로부터도 의미 있는 그래프 구조를 성공적으로 학습하여, 가우시안 그래픽 모델의 정규성 가정을 초월한 강건성을 입증했다.
• 제안된 알고리즘은 증명 가능하게 수렴하며 계산적으로 효율적이므로, 대규모 반감독 및 무감독 그래프 학습 작업을 가능하게 한다.
• CRAN에 오픈소스 R 패키지가 제공되어 모든 실험 결과의 재현성과 실용적 구현이 가능하다.