[논문 리뷰] Random Wavelet Features for Graph Kernel Machines

Valentin de Bassompierre, Jean‐Charles Delvenne외 1명|arXiv (Cornell University)|2026. 02. 17.

Advanced Graph Neural Networks인용 수 0

한 줄 요약

이 논문은 그래프 웨이블 변환에 기반한 무작위 스펙트럴 노드 임베딩을 도입하여 라플라시안 기반 그래프 커널을 근사하고, 그래프에서의 확장 가능한 커널 학습을 가능하게 하며, 특히 스펙트럼적으로 국소화된 커널에 대해 성능이 강력하다.

ABSTRACT

Node embeddings map graph vertices into low-dimensional Euclidean spaces while preserving structural information. They are central to tasks such as node classification, link prediction, and signal reconstruction. A key goal is to design node embeddings whose dot products capture meaningful notions of node similarity induced by the graph. Graph kernels offer a principled way to define such similarities, but their direct computation is often prohibitive for large networks. Inspired by random feature methods for kernel approximation in Euclidean spaces, we introduce randomized spectral node embeddings whose dot products estimate a low-rank approximation of any specific graph kernel. We provide theoretical and empirical results showing that our embeddings achieve more accurate kernel approximations than existing methods, particularly for spectrally localized kernels. These results demonstrate the effectiveness of randomized spectral constructions for scalable and principled graph representation learning.

연구 동기 및 목표

• 그래프에서 커널 기반 학습의 필요성과 그래프 커널의 계산 비용을 다룬다.
• 주어진 그래프 커널의 저랭크 근사를 제공하는 무작위 스펙트럴 임베딩 방법을 개발한다.
• 그래프 신호 처리 및 그래프 웨이블을 활용해 효율적인 임베딩을 설계한다.
• 이론적 보장과 기존 방법 대비 개선된 커널 근사에 대한 실증 근거를 제공하며, 특히 스펙트럴적으로 국소화된 커널의 경우에 그렇다.

제안 방법

• 그래프 노드에 대한 무작위 특징 맵을 구성하여 내적이 저랭크 커널을 근사하도록 한다: Γ ≈ Φ^T Φ.
• 두 단계 알고리즘: (i) 필터링된 무작위 신호를 사용한 범위 추정으로 top-K 그래프 고조화를 근사; (ii) QR 부분 공간에 비선형 스펙트럴 필터 h^{1/2}(L)을 적용한 임베딩 계산.
• 실용적인 범위 추정을 위해 이상적인 로우패스 필터링을 대체하는 다항식(Jackson-Chebyshev) 근사 p_χ를 사용한다.
• 필터링된 부분 공간에서 임베딩 Φ를 Φ = (p_h(L) Q)^T 로 정의하여 커널 h(L)의 랭크-K 근사를 얻는다.
• 랜덤화된 SVD와의 연결을 도출하고 부분 공간 추정을 개선하기 위해 오버샘플링(필터링된 무작위 신호의 QR)을 사용한다.
• 주요 단계에서 거의 선형 스케일링과 저랭크 재구성을 통한 메모리 감소를 보이는 계산 복잡성을 분석한다.

(a)

실험 결과

연구 질문

• RQ1 그래프 웨이블을 통한 무작위 스펙트럴 임베딩이 라플라시안 기반 그래프 커널에 대해 정확한 저랭크 근사를 제공할 수 있는가?
• RQ2 이 임베딩이 기존 무작위 특징 접근법들보다 성능이 우수한가, 특히 스펙트럼적으로 국소화된 커널에 대해?
• RQ3 이 무작용 그래프 커널 프레임워크에서 근사 정확도와 계산 효율성 간의 트레이드오프는 무엇인가?
• RQ4 그래프 라플라시안의 고유값 분포가 방법의 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 무작위 스펙트럴 임베딩은 이상적인 조건에서 이론적으로 최적의 rank-K 근사와 일치하는 저랭크 근사를 제공하며, 다항식 근사와 범위 추정에서 비롯된 추가 오차 항이 존재한다.
• 경험적 결과는 스펙트럼적으로 국소화된 커널에 대해 일반 그래프 무작위 특징(g-GRFs)보다 커널 근사 정확도가 향상되었음을 보이며, 광범위한 커널에 대해서도 경쟁력 있는 성능을 유지한다.
• 명시적 고유분해를 피하고 다항식 근사와 무작위 투영을 활용함으로써 시간 및 메모리 복잡도가 확장 가능하게 나타난다.
• 성능은 그래프 라플라시안의 고유값 분포와 선택된 K에 의존하며, 목표 커널에 대해 스펙트럼이 잘 작동할 때 더 좋은 결과를 보인다.

(b)