[논문 리뷰] Harmonic analysis on directed graphs and applications: from Fourier analysis to wavelets

Harry Sevi, Gabriel Rilling외 1명|arXiv (Cornell University)|2018. 11. 28.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 비대칭성을 가진 방향성 그래프에 대해 랜덤 워크 연산자의 고유벡터를 비직교 푸리에 기저로 사용하는 새로운 조화 분석 프레임워크를 제안한다. 주파수 해석은 딜레르클 에너지와 고유값의 실수부를 통해 이루어지며, 이는 확산 웨이블릿을 방향성 그래프로 확장하여 부족한 및 임계 샘플링 웨이블릿 변환을 가능하게 한다. 또한 미국의 정치 블로그와 같은 방향성 그래프에서 준지도 학습 및 신호 모델링에서 뛰어난 성능을 보였다.

ABSTRACT

We introduce a novel harmonic analysis for functions defined on the vertices of a strongly connected directed graph of which the random walk operator is the cornerstone. As a first step, we consider the set of eigenvectors of the random walk operator as a non-orthogonal Fourier-type basis for functions over directed graphs. We found a frequency interpretation by linking the variation of the eigenvectors of the random walk operator obtained from their Dirichlet energy to the real part of their associated eigenvalues. From this Fourier basis, we can proceed further and build multi-scale analyses on directed graphs. We propose both a redundant wavelet transform and a decimated wavelet transform by extending the diffusion wavelets framework by Coifman and Maggioni for directed graphs. The development of our harmonic analysis on directed graphs thus leads us to consider both semi-supervised learning problems and signal modeling problems on graphs applied to directed graphs highlighting the efficiency of our framework.

연구 동기 및 목표

• 비대칭성으로 인해 기존의 그래프 라플라시안이 실패하는 방향성 그래프에서 함수에 대한 푸리에 유사 분석을 개발한다.
• 방향성 그래프에서 일관된 주파수 해석이 부족한 문제를 해결하기 위해, 랜덤 워크 연산자의 고유벡터의 변동성(디리클레 에너지를 통해)을 고유값의 실수부와 연결한다.
• 비대칭 연산자로 일반화된 확산 웨이블릿 프레임워크를 통해 방향성 그래프로 다중 척도 분석(웨이블릿)을 확장한다.
• 실제 방향성 네트워크에서의 준지도 학습 및 그래프 신호 모델링과 같은 실용적 응용에서 제안된 프레임워크의 유용성을 입증한다.
• 비방향성 그래프 분석에서의 주요 특성인 주파수 해석과 다중 해상도 분석을 유지하면서도, 방향성 그래프에서의 그래프 신호 처리를 위한 기반을 마련한다.

제안 방법

• 강한 연결성을 가진 방향성 그래프에서 랜덤 워크 연산자를 핵심 기반 연산자로 사용하여 대칭 그래프 라플라시안을 대체한다.
• 각 랜덤 워크 연산자 고유벡터의 딜레르클 에너지를 그 고유값의 실수부와 연관지켜 주파수 해석을 정의한다.
• 랜덤 워크 연산자의 고유벡터에서 비직교 푸리에 기저를 구성함으로써, 방향성 그래프에서의 스펙트럼 분석을 가능하게 한다.
• 히트 커널 기반 필터를 사용하여 확산 웨이블릿 프레임워크를 방향성 그래프로 확장함으로써 부족한 및 임계 샘플링 웨이블릿 변환을 개발한다.
• 히트 커널을 사용한 합성 필터 베드를 구현한다: $\mathbf{H}_j = e^{-\mathcal{L}t_j}$, $t_j = 2^j$, 및 대역통과 필터 $\mathbf{G}_j = \mathbf{H}_{j-1} - \mathbf{H}_j$.
• 합성된 웨이블릿 계수의 $\ell_1$-정규화 최적화를 통해 준지도 학습에 프레임워크를 적용한다: $\boldsymbol{w}^* = \arg\min \|\tilde{\mathbf{y}} - \mathbf{X}\mathbf{w}\|_2^2 + \lambda\|\mathbf{w}\|_1$, $\mathbf{X} = \mathbf{M}\mathbf{K}$.

Figure 1: Eigenvalue distribution of the random walk matrix of a directed toroidal graph $\mathcal{T}_{6,4}$ . Eigenvalues on the dotted green line: $\mathfrak{Re}(\lambda^{g})=-0.25,\forall\lambda^{g}\in\boldsymbol{\Lambda}_{g}$ . Eigenvalues on the dotted orange line: $\mathfrak{Re}(\lambda^{o})=0

실험 결과

연구 질문

• RQ1 비대칭 라플라시안의 부재로 인해 방향성 그래프에서 함수에 대한 일관된 주파수 해석을 설정할 수 있는가?
• RQ2 방향성 그래프에서 랜덤 워크 연산자의 고유벡터는 어떻게 의미 있는 푸리에 유사 기저를 정의하는 데 사용될 수 있는가?
• RQ3 확산 웨이블릿 프레임워크는 비대칭 연산자로 일반화될 수 있는가? 그 정도는 어느 정도인가?
• RQ4 제안된 조화 분석 프레임워크는 방향성 그래프에서의 준지도 학습 작업에서 기존 방법보다 뛰어난 성능을 보일 수 있는가?
• RQ5 웨이블릿 표현의 희소성은 방향성 그래프에서 신호 복원 및 레이블링 작업 성능에 어떤 영향을 미치는가?

주요 결과

• 방향성 그래프에서 랜덤 워크 연산자의 고유벡터의 딜레르클 에너지가 그에 해당하는 고유값의 실수부와 상관관계가 있으며, 이는 주파수 해석을 가능하게 한다.
• 랜덤 워크 연산자의 고유벡터는 방향성 그래프에서 함수에 대한 비직교 푸리에 유사 기저를 형성하며, 이는 고전적 푸리에 분석을 방향성 구조로 일반화한다.
• 히트 커널 필터를 사용하여 확산 웨이블릿 프레임워크를 확장함으로써, 부족한 및 임계 샘플링 웨이블릿 변환을 방향성 그래프에서 성공적으로 구성하였다.
• $\ell_1$-정규화 준지도 학습 공식화를 통해 부족한 웨이블릿 계수를 사용한 결과, 미국의 정치 블로그 네트워크에서 $\ell_2$-정규화 방법과 경쟁 가능한 성능을 달성하였다.
• 웨이블릿의 공간 국소화가 제한적이었음에도 불구하고, $\ell_1$-기반 접근법은 뛰어난 성능을 보였으며, 이는 더 나은 국소화를 가진 변환을 사용할 경우 향상 가능성을 시사한다.
• 제안된 프레임워크는 미국의 정치 블로그 그래프와 같은 실제 방향성 네트워크에서 검증되었으며, 다양한 레이블 비율에서도 실용성과 강건성을 입증하였다.

Figure 3: Semi-supervised learning on $\mathcal{G}^{\prime}$ of the political blogs of the 2004 US presidential campaign. The notations $\operatorname{L_{norm}}$ and $\operatorname{L_{norm,sym}}$ correspond respectively to $\mathcal{L}$ and $\mathcal{L}_{\operatorname{sym}}$ .