[논문 리뷰] GRASPEL: Graph Spectral Learning at Scale

Yongyu Wang, Zhiqiang Zhao외 1명|arXiv (Cornell University)|2019. 11. 23.

Advanced Graph Neural Networks참고 문헌 43인용 수 6

한 줄 요약

GRASPEL은 거의 선형 시간 스펙트럴 스퍼스피케이션과 코arsening 기법을 사용하여 반복적으로 가장 스펙트럴적으로 중요한 간선을 식별하고 추가함으로써 초초박편하고 스펙트럴적으로 안정된 그래프를 구축하는 확장 가능한 스펙트럴 그래프 학습 방법이다. 이 방법은 그래프 구축 시간이 2,000배 이상 빨라지고 벤치마크 데이터셋에서 정확도가 14–18% 향상되어 스펙트럴 클러스터링 및 그래프 복구에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Learning meaningful graphs from data plays important roles in many data mining and machine learning tasks, such as data representation and analysis, dimension reduction, data clustering, and visualization, etc. In this work, for the first time, we present a highly-scalable spectral approach (GRASPEL) for learning large graphs from data. By limiting the precision matrix to be a graph Laplacian, our approach aims to estimate ultra-sparse (tree-like) weighted undirected graphs and shows a clear connection with the prior graphical Lasso method. By interleaving the latest high-performance nearly-linear time spectral methods for graph sparsification, coarsening and embedding, ultra-sparse yet spectrally-robust graphs can be learned by identifying and including the most spectrally-critical edges into the graph. Compared with prior state-of-the-art graph learning approaches, GRASPEL is more scalable and allows substantially improving computing efficiency and solution quality of a variety of data mining and machine learning applications, such as spectral clustering (SC), and t-Distributed Stochastic Neighbor Embedding (t-SNE). {For example, when comparing with graphs constructed using existing methods, GRASPEL achieved the best spectral clustering efficiency and accuracy.

연구 동기 및 목표

• 각 반복에서 O(N²) 복잡도로 인해 대규모 데이터셋에서 어려움을 겪는 기존 그래프 학습 방법의 확장성 한계를 해결한다.
• 계산 효율성을 유지하면서도 입력 데이터의 스펙트럴 성질을 유지하는 초초박편한 그래프 구조를 갖춘 그래프 학습 프레임워크를 개발한다.
• 스펙트럴 임bedding이 원래 데이터 포인트 간 유사성을 캡슐화하도록 학습된 그래프를 통해 고품질의 스펙트럴 클러스터링과 그래프 복구를 가능하게 한다.
• 최근 개발된 거의 선형 시간 스펙트럴 그래프 알고리즘을 활용하여 대규모에서 그래프 조밀화 및 최적화를 실현 가능하게 한다.
• 고차원 데이터에 대해 전통적인 k-NN 및 그래픽스 Lasso 기반 그래프 학습 방법의 강력하고 확장 가능한 대안을 제공한다.

제안 방법

• 정밀도 행렬을 그래프 라플라시안 유사 행렬로 제약 조건을 두는 그래픽스 Lasso 유사 최적화 문제로 그래프 학습을 공식화한다.
• 스펙트럴 안정성을 위해 이차형식 제약 조건을 통해 첫 번째 몇 개의 라플라시안 고유값과 간선 간 신호의 스무쓰함을 최대화한다.
• 거의 선형 시간 스펙트럴 스퍼스피케이션과 코어닝을 사용하여 그래프에 포함시킬 가장 스펙트럴적으로 중요한 간선만 식별한다.
• 스펙트럴 임bedding과 그래프 정밀화 단계를 번갈아 수행하여 반복적으로 스펙트럴 안정성과 신호 스무쓰함을 향상시킨다.
• 초기 초초박편한 그래프(예: uNN 그래프)에서 시작하여 스펙트럴 영향을 기반으로 점진적으로 그래프를 조밀화하고, 스펙트럼이 안정화될 때까지 반복한다.
• 결과로 도출된 그래프의 스펙트럴 임bedding 거리가 원래 데이터 포인트 간의 내재된 유사성과 일치하도록 보장한다.

실험 결과

연구 질문

• RQ1 대규모 데이터셋에 대해 확장성이 뛰어나면서도 스펙트럴 성질을 유지할 수 있는 그래프 학습 방법을 설계할 수 있는가?
• RQ2 스펙트럴 스퍼스피케이션과 코어닝 기법을 그래프 학습 파이프라인에 통합하여 그래프의 강건성과 계산 효율성을 유지할 수 있는가?
• RQ3 스펙트럴 기준에 따라 학습된 초초박편한 그래프가 표준 k-NN 또는 조밀한 그래프에 비해 스펙트럴 클러스터링 및 그래프 복구 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 스펙트럴 영향을 기반으로 한 반복적 그래프 조밀화가 균일한 k-NN 그래프에 비해 더 강력하고 균형 잡힌 클러스터링 컷을 제공하는가?
• RQ5 제안된 방법이 솔루션 품질을 손상시키지 않으면서도 그래프 구축 및 고유분해에서 상당한 속도 향상을 달성할 수 있는가?

주요 결과

• USPS 데이터셋에서 GRASPEL은 두 번째로 우수한 방법에 비해 18% 이상의 정확도 향상을 기록했으며, COIL20에서는 13% 이상의 향상을 기록했다.
• MNIST 데이터셋에서 GRASPEL은 표준 k-NN 그래프에 비해 14% 이상의 정확도 향상을 달성했고, 그래프 구축 시간을 6배 이상 단축시켰다.
• GRASPEL로 학습된 그래프를 사용한 MNIST 스펙트럴 클러스터링은 3초 이내에 완료되어 표준 k-NN 방법(6,000초 이상 소요)에 비해 2,000배 이상의 속도 향상을 보였다.
• MNIST의 일부 데이터셋에서 스펙트럴 클러스터링의 정규화 상호정보량(NMI)은 0.012에서 0.863으로 향상되었고, 전체 USPS 데이터셋에서는 0.612에서 0.884로 상승했다.
• MNIST의 일부 데이터셋에서 클러스터링 정확도(ACC)는 16.1%에서 90.0%로, USPS에서는 40.4%에서 90.6%로 상승하여 뚜렷한 성능 향상을 보였다.
• GRASPEL로 학습된 그래프는 스펙트럴 설계 덕분에 입력 노이즈에 강건함을 입증했으며, 최근의 적대적 예제에 대한 스펙트럴 강건성 연구 결과와 일치한다.