[논문 리뷰] Rational Neural Networks for Approximating Jump Discontinuities of Graph Convolution Operator

Zhiqian Chen, Feng Chen외 3명|arXiv (Cornell University)|2018. 08. 30.

Advanced Graph Neural Networks참고 문헌 51인용 수 4

한 줄 요약

이 논문은 그래프 신호의 점프 불연속성을 효과적으로 모델링하기 위해 유리 함수 근사법을 활용하는 새로운 그래프 신경망인 RationalNet을 제안한다. 그래프 라플라시안을 기반으로 재구성함으로써 고비용의 고유벡터 행렬 곱셈을 피하며, 점프 신호에서 지수 수렴을 달성하고, 다항수 기반 모델과 기준 모델보다 유의미하게 낮은 오차와 경쟁 가능한 런타임으로 인해 합성 및 실세계 그래프 데이터셋에서 뛰어난 성능을 보인다.

ABSTRACT

For node level graph encoding, a recent important state-of-art method is the graph convolutional networks (GCN), which nicely integrate local vertex features and graph topology in the spectral domain. However, current studies suffer from several drawbacks: (1) graph CNNs relies on Chebyshev polynomial approximation which results in oscillatory approximation at jump discontinuities; (2) Increasing the order of Chebyshev polynomial can reduce the oscillations issue, but also incurs unaffordable computational cost; (3) Chebyshev polynomials require degree $Ω$(poly(1/$ε$)) to approximate a jump signal such as $|x|$, while rational function only needs $\mathcal{O}$(poly log(1/$ε$))\cite{liang2016deep,telgarsky2017neural}. However, it's non-trivial to apply rational approximation without increasing computational complexity due to the denominator. In this paper, the superiority of rational approximation is exploited for graph signal recovering. RatioanlNet is proposed to integrate rational function and neural networks. We show that rational function of eigenvalues can be rewritten as a function of graph Laplacian, which can avoid multiplication by the eigenvector matrix. Focusing on the analysis of approximation on graph convolution operation, a graph signal regression task is formulated. Under graph signal regression task, its time complexity can be significantly reduced by graph Fourier transform. To overcome the local minimum problem of neural networks model, a relaxed Remez algorithm is utilized to initialize the weight parameters. Convergence rate of RatioanlNet and polynomial based methods on jump signal is analyzed for a theoretical guarantee. The extensive experimental results demonstrated that our approach could effectively characterize the jump discontinuities, outperforming competing methods by a substantial margin on both synthetic and real-world graphs.

연구 동기 및 목표

• Gibbs 현상과 느린 수렴으로 인해 다항수 기반 그래프 컨볼루션 네트워크가 점프 불연속성을 근사하는 데에 한계가 있음을 해결한다.
• 고유벡터 행렬 곱셈을 피함으로써 스펙트럴 그래프 방법에서의 유리 함수 근사의 계산 부담을 완화한다.
• 유리 함수를 그래프 컨볼루션과 통합한 신경망 아키텍처를 개발하여 비스무스 그래프 신호에서의 신호 복원 성능을 향상시킨다.
• 유리 함수가 다항수보다 점프 신호에서 더 빠른 수렴을 보이는 이유에 대한 이론적 근거를 제공한다.
• 가중치 초기화에 유연한 Remez 알고리즘을 사용하여 학습 안정성과 수렴성을 향상시킨다.

제안 방법

• 고유값의 유리 함수를 그래프 라플라시안의 함수로 재구성하여 고유벡터 행렬 곱셈이 필요 없도록 한다.
• 그래프 신호 회귀를 학습 과제로 설정하고 그래프 푸리에 변환을 활용하여 시간 복잡도를 감소시킨다.
• 학습 중 국소 최소값 문제를 완화하기 위해 유연한 Remez 알고리즘을 도입하여 네트워크 가중치를 초기화한다.
• 신경망을 사용해 유리 함수의 계수를 학습함으로써 그래프 구조 데이터에서 엔드 투 엔드 학습을 가능하게 한다.
• 이론적 분석을 통해 유리 함수 근사는 ε-근사에 O(poly log(1/ε)) 차수로 충분한 반면, 다항수는 Ω(poly(1/ε)) 차수를 요구함을 확인했다.
• 모델은 그래프에 통합된 데이터에서 예측된 신호와 목표 신호 간의 평균 제곱오차를 최소화하는 손실 함수를 사용해 학습된다.

실험 결과

연구 질문

• RQ1 유리 함수 근사는 그래프 신호의 점프 불연속성을 모델링하는 데 다항수 근사보다 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 고유벡터 연산으로 인한 높은 계산 비용 없이도 유리 함수를 스펙트럴 그래프 신경망에 효율적으로 통합할 수 있는가?
• RQ3 제안된 RationalNet 모델은 다항수 기반 GCN보다 점프 신호에서 더 빠른 수렴을 달성하는가?
• RQ4 유연한 Remez 알고리즘이 국소 최소값 문제를 효과적으로 완화하면서 신경망 가중치를 초기화하여 수렴성과 안정성을 향상시킬 수 있는가?
• RQ5 RationalNet은 비스무스 신호를 포함한 실세계 및 합성 그래프 데이터셋에서 실제로 어떻게 성능을 발휘하는가?

주요 결과

• RationalNet은 미니앤폴리스 도로망에서 평균 제곱오차(MSE) 3e-5를 기록했으며, 다음으로 우수한 기준 모델인 PolyFit(0.0008)보다 유의미하게 뛰어난 성능을 보였다.
• 페어팩스 도로망에서는 RationalNet이 가장 낮은 MSE(3e-5)를 유지했고, SVR(RBF)와 PolyNet은 각각 0.0055와 0.0039를 기록했다.
• RationalNet은 미니앤폴리스(2642개 노드)와 페어팩스(993개 노드) 데이터셋에서 모두 300 반복 이내에 수렴했으며, 반복당 비용이 기준 모델보다 높음에도 불구하고 1분 이내에 완료되었다.
• 이론적 분석을 통해 유리 함수 근사는 점프 신호에서 다항수 근사보다 지수적으로 더 빠른 수렴 속도를 보였으며, ε-근사에 필요한 차수는 O(poly log(1/ε))로 충분한 반면, 다항수는 Ω(poly(1/ε))가 필요함을 확인했다.
• 고유벡터의 시각화 결과, 고주파 성분(예: φ₇₀₁, φ₇₀₂)이 비스무스적이고 불연속적인 신호를 포착하고 있음을 확인했으며, RationalNet이 이를 효과적으로 모델링함을 입증했다.
• 디리클레 에너지 분석 결과, 상위 50% 고주파 성분을 사용해 복원한 신호 ζ는 매우 높은 에너지(15,384.10)를 가지며, 이는 비스무스적 성질을 가짐을 확인했고, RationalNet이 이를 정확히 포착함을 보였다.