[논문 리뷰] Decimated Framelet System on Graphs and Fast G-Framelet Transforms

Xuebin Zheng, Bingxin Zhou외 2명|arXiv (Cornell University)|2020. 12. 12.

Advanced Graph Neural Networks참고 문헌 109인용 수 21

한 줄 요약

이 논문은 계층적이고 군집화된 체인 구조를 통해 그래프 데이터의 다스케일, 국소화된 표현을 가능하게 하는 그래프 상에서의 감소형 프레임릿 시스템을 제안한다. 그래프 라플라시안 기반 정규직교 기저와 데이터 기반 필터 베이스를 활용하여 효율적인 분해 및 재구성 가능성을 확보한 선형 $\boldsymbol{\text{O}}(N)$ 계산 복잡도를 가진 빠른 $\boldsymbol{\text{G}}$-프레임릿 변환(F$\boldsymbol{\text{G}}$T)을 도입한다.

ABSTRACT

Graph representation learning has many real-world applications, from super-resolution imaging, 3D computer vision to drug repurposing, protein classification, social networks analysis. An adequate representation of graph data is vital to the learning performance of a statistical or machine learning model for graph-structured data. In this paper, we propose a novel multiscale representation system for graph data, called decimated framelets, which form a localized tight frame on the graph. The decimated framelet system allows storage of the graph data representation on a coarse-grained chain and processes the graph data at multi scales where at each scale, the data is stored at a subgraph. Based on this, we then establish decimated G-framelet transforms for the decomposition and reconstruction of the graph data at multi resolutions via a constructive data-driven filter bank. The graph framelets are built on a chain-based orthonormal basis that supports fast graph Fourier transforms. From this, we give a fast algorithm for the decimated G-framelet transforms, or FGT, that has linear computational complexity O(N) for a graph of size N. The theory of decimated framelets and FGT is verified with numerical examples for random graphs. The effectiveness is demonstrated by real-world applications, including multiresolution analysis for traffic network, and graph neural networks for graph classification tasks.

연구 동기 및 목표

• 그래프 구조 데이터를 위한 국소화되고 타이트한 프레임릿 시스템을 개발하여 다스케일 분석을 지원한다.
• 기존 그래프 프레임릿 변환의 계산 비효율성을 해결하기 위해 선형 시간 처리를 가능하게 한다.
• 기하학적 및 스펙트럼 성질을 유지하는 계층적이고 군집화된 하위그래프 체인을 구축한다.
• 실생활 응용 분야인 교통망 및 그래프 신경망을 위한 효율적인 그래프 표현 학습과 다중해상도 분석을 가능하게 한다.
• 완전한 재구성과 변환 과정의 안정성을 보장하는 데이터 기반 필터 베이스를 수립한다.

제안 방법

• 그래프 라플라시안에서 유도된 체인 기반 정규직교 기저를 사용하여 다스케일 분해를 가능하게 하는 감소형 프레임릿 시스템을 구축한다.
• 그래프 클러스터링과 군집화를 활용하여 각 수준가 원래 그래프의 더 흐린 근사치를 나타내는 계층적 하위그래프 체인을 구성한다.
• 빠른 계산과 국소화를 보장하기 위해 저-SPOC(계수의 희소성) 정규직교 기저로서 그래프 상의 하어 기저를 활용한다.
• 각 스케일에서 저통과 고통 필터를 갖춘 필터 베이스를 설계하여, 프레임릿 시스템이 안정적인 신호 표현을 위한 타이트 프레임을 형성하도록 한다.
• 각 군집화된 그래프 수준에서 이산 푸리에 변환(DFT)과 그 수반 연산(ADFT)을 조합하여 효율적인 다운샘플링 및 업샘플링 연산을 수행함으로써 빠른 알고리즘 F$\boldsymbol{\text{G}}$T를 개발한다.
• 계층적 그래프 구조의 각 수준에서 이산 푸리에 변환(DFT)과 그 수반 연산(ADFT)을 적용하여 컬러션 및 변환 연산을 가속화한다.

실험 결과

연구 질문

• RQ1 감소형 프레임릿 시스템을 그래프 상에 구성하여 다스케일, 국소화된 그래프 데이터 표현을 보장하고 안정성과 완전한 재구성을 확보할 수 있는가?
• RQ2 정확성과 희소성을 유지하면서 그래프 프레임릿 변환의 계산 복잡도를 선형 시간으로 줄일 수 있는가?
• RQ3 그래프 라플라시안과 그 고유벡터는 그래프 상에서 빠른 변환을 지원하는 정규직교 기저를 구성하는 데 어떤 역할을 하는가?
• RQ4 그래프의 계층적 군집화가 결과 프레임릿 계수의 품질과 해석 가능성에 미치는 영향은 어떠한가?
• RQ5 제안된 F$\boldsymbol{\text{G}}$T는 그래프 신경망 및 다중해상도 분석 작업에서 그래프 표현 학습을 얼마나 효과적으로 향상시킬 수 있는가?

주요 결과

• 제안된 감소형 프레임릿 시스템은 그래프 상에서 국소화된 타이트 프레임을 형성하여 다중 스케일에서 안정적이고 역행 가능한 신호 표현을 보장한다.
• F$\boldsymbol{\text{G}}$T 알고리즘은 크기가 $N$인 그래프에 대해 선형 계산 복잡도 $\boldsymbol{\text{O}}(N)$을 달성하여 이전 방법에 비해 효율성이 크게 향상된다.
• 랜덤 그래프에 대한 수치 실험은 계산 시간의 선형 스케일링을 확인하여 이론적 복잡도 분석을 검증한다.
• 실생활 도로망에 대한 실험은 다양한 해상도 수준에서의 구조적 패턴을 드러내며 다중해상도 분석의 가능성을 입증한다.
• 그래프 신경망에 적용했을 때, F$\boldsymbol{\text{G}}$T 기반 그래프 컬러션은 다스케일 특징을 활용하여 벤치마크 데이터셋에서 분류 정확도를 향상시킨다.
• 그래프 상의 하어 기저는 저SPOC(계수의 희소성)를 달성하여 프레임릿 표현의 효율성과 국소화에 기여한다.