Skip to main content
QUICK REVIEW

[논문 리뷰] Convolutional Neural Networks on Graphs with Chebyshev Approximation, Revisited

Mingguo He, Zhewei Wei|arXiv (Cornell University)|2022. 02. 04.
Advanced Graph Neural NetworksComputer Science인용 수 46
한 줄 요약

이 논문은 ChebNet을 스펙트럴 그래프 컨볼루션에 대해 재검토하고, 불법 계수 학습이 ChebNet의 저성과의 원인임을 확인한 뒤, Chebyshev 보간에 기반한 ChebNetII를 제시하여 성능과 확장성을 향상시키고, 대형 그래프에 대한 실험까지 포함한다.

ABSTRACT

Designing spectral convolutional networks is a challenging problem in graph learning. ChebNet, one of the early attempts, approximates the spectral graph convolutions using Chebyshev polynomials. GCN simplifies ChebNet by utilizing only the first two Chebyshev polynomials while still outperforming it on real-world datasets. GPR-GNN and BernNet demonstrate that the Monomial and Bernstein bases also outperform the Chebyshev basis in terms of learning the spectral graph convolutions. Such conclusions are counter-intuitive in the field of approximation theory, where it is established that the Chebyshev polynomial achieves the optimum convergent rate for approximating a function. In this paper, we revisit the problem of approximating the spectral graph convolutions with Chebyshev polynomials. We show that ChebNet's inferior performance is primarily due to illegal coefficients learnt by ChebNet approximating analytic filter functions, which leads to over-fitting. We then propose ChebNetII, a new GNN model based on Chebyshev interpolation, which enhances the original Chebyshev polynomial approximation while reducing the Runge phenomenon. We conducted an extensive experimental study to demonstrate that ChebNetII can learn arbitrary graph convolutions and achieve superior performance in both full- and semi-supervised node classification tasks. Most notably, we scale ChebNetII to a billion graph ogbn-papers100M, showing that spectral-based GNNs have superior performance. Our code is available at https://github.com/ivam-he/ChebNetII.

연구 동기 및 목표

  • ChebNet이 실제로 GCN 및 다른 학습 가능한 기반들에 비해 저성능인 이유를 조사할 필요성을 동기화한다.
  • 학습된 analytic 스펙트럴 필터의 등장에 있어 Chebyshev 계수의 역할과 근사 이론의 준수를 분석한다.
  • Chebyshev 보간에 기반한 GNN인 ChebNetII를 제안하여 학습을 안정화하고 Runge 현상을 줄이며 제약 친화적인 필터 설계를 가능하게 한다.
  • ChebNetII의 대규모 그래프 규모에서도의 확장성 및 효과를 전체- 및 반지도 학습 노드 분류에서 입증한다, 빌리언 그래프 규모 포함.

제안 방법

  • ChebNet을 재고하여 Chebyshev 기반의 스펙트럴 필터링과 학습된 계수가 해석적 필터에 미치는 영향을 검토한다.
  • 명시적 Chebyshev 기저 계수를 갖는 ChebBase를 도입하고 그 성능 저하를 보인다.
  • Chebyshev 이론에서 영감을 얻은 계수 제약 변형(ChebBase/ k)을 제시하고 실험 테스트를 수행한다.
  • Chebyshev 노드의 스펙트럴 필터 값을 보간(interpolation)으로 재매개변수화하여 근사 근사치의 최소극대(near-minimax) 성능과 Runge 현상의 감소를 보장하는 ChebNetII를 개발한다.
  • 선형 시간 순전파 및 확장 가능한 전처리의 계산 분석 및 복잡도 논의를 제공한다.
  • 다양한 데이터세트에서 반감 및 전체 슈퍼바이즈드 노드 분류를 실험하고, 대형 이질 그래프를 포함한다.

실험 결과

연구 질문

  • RQ1왜 ChebNet은 이론적 표현력에도 불구하고 GCN에 비해 저성능을 보이나?
  • RQ2ChebNet이 학습한 계수가 근사 이론 제약을 위반하여 과적합을 초래하는가?
  • RQ3Chebyshev 보간이 임의의 스펙트럴 필터를 학습하는 보다 강력하고 확장 가능한 그래프 컨볼루션을 제공하는가?
  • RQ4ChebNetII는 대규모 및 이질 그래프에서 최첨단 다항식 기반 GNN과 비교해 어떤 성능을 보이는가?
  • RQ5ChebNetII의 이론적/실용적 이점(예: Runge 현상 감소, near-minimax 근사) 은 무엇인가?

주요 결과

  • ChebNet은 특히 다항 차수가 증가함에 따라 반지도 학습 작업에서 일반적으로 GCN보다 열등하다.
  • 명시적 Chebyshev 기저를 갖는 ChebBase는 모노미얼/버스트라인 기반 상대보다 성능이 떨어져 학습된 계수가 해석 함수 제약을 충족하지 못할 수 있음을 시사한다.
  • Chebyshev 계수의 제약(ChebBase/k)은 해석적 필터에 대한 이론적 수렴 제약을 검증하며 성능을 개선한다.
  • ChebNetII는 학습 가능한 노드 값으로 Chebyshev 보간에 기반하여 8개 중 7개 데이터세트에서 SOTA를 달성하고, 다른 데이터에서도 경쟁력을 유지한다.
  • ChebNetII는 ogbn-papers100M과 같은 대규모 그래프에서 경쟁력 있는 성능을 보이며, 다수의 이질 데이터세트에서도 성능 향상을 보인다.
  • 이론적 분석은 Chebyshev 보간이 near-minimax 근사치를 제공하고 Runge 현상을 감소시켜 실험적 성능 개선에 기여함을 시사한다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.