[논문 리뷰] Quasi-Framelets: Robust Graph Neural Networks via Adaptive Framelet Convolution

Mengxi Yang, Shi, Dai외 3명|arXiv (Cornell University)|2022. 01. 11.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 스펙트럼 도메인에서 적응형 필터링 함수를 직접 설계함으로써 그래프 신경망의 강건성과 유연성을 향상시키는 새로운 스펙트럼 그래프 컨볼루션 방법인 Quasi-Framelets (QUFG)를 제안한다. 다중 척도 프레임릿 유사 필터링과 학습 가능한 조절 기능을 통합함으로써, 노이즈가 많거나 이질적인 그래프에서의 성능을 향상시키며, 동종 및 이종 설정 모두에서 최신 기술 대비 뚜렷한 정확도 향상과 노이즈 내성 확보를 달성한다.

ABSTRACT

This paper aims to provide a novel design of a multiscale framelet convolution for spectral graph neural networks (GNNs). While current spectral methods excel in various graph learning tasks, they often lack the flexibility to adapt to noisy, incomplete, or perturbed graph signals, making them fragile in such conditions. Our newly proposed framelet convolution addresses these limitations by decomposing graph data into low-pass and high-pass spectra through a finely-tuned multiscale approach. Our approach directly designs filtering functions within the spectral domain, allowing for precise control over the spectral components. The proposed design excels in filtering out unwanted spectral information and significantly reduces the adverse effects of noisy graph signals. Our approach not only enhances the robustness of GNNs but also preserves crucial graph features and structures. Through extensive experiments on diverse, real-world graph datasets, we demonstrate that our framelet convolution achieves superior performance in node classification tasks. It exhibits remarkable resilience to noisy data and adversarial attacks, highlighting its potential as a robust solution for real-world graph applications. This advancement opens new avenues for more adaptive and reliable spectral GNN architectures.

연구 동기 및 목표

• 기존 스펙트럼 GNN이 불완전하거나 손상된 그래프 데이터를 다루는 데에 한계가 있음을 해결하기 위해.
• 수학적으로 정의된 고정 필터의 강성과 종단 간 학습된 필터의 데이터 민감성 문제를 극복하기 위해.
• 스펙트럼 도메인에서 조절 함수를 직접 설계함으로써 탄력적인 스펙트럼 필터링을 가능하게 하기 위해.
• 주의 메커니즘에 의존하지 않고도 이종 그래프에서의 노드 분류 성능을 향상시키기 위해.
• 다중 수준 그래프 표현에서의 강건성과 성능 향상을 입증하기 위해.

제안 방법

• 스펙트럼 도메인에서 직접 학습 가능한 조절 함수를 적용하여 스펙트럼 필터링을 제어하는 새로운 그래프 컨볼루션 레이어인 QUFGConv를 제안한다.
• 그래프 신호의 다양한 주파수 성분을 분해하고 조절하기 위해 두 종류의 조절 함수를 도입한다.
• 다중 척도 프레임릿 유사 설계를 통해 동시에 저역통과 및 고역통과 필터링을 가능하게 하여 신호 표현을 향상시킨다.
• 동종 및 이종 GNN 프레임워크 모두에 QUFGConv 레이어를 적용하여, HAN에서의 주의 메커니즘과의 공정한 비교를 위해 이를 대체한다.
• 그래프 라플라시안의 스펙트럼 분해를 활용하여 노드 특징을 스펙트럼 도메인으로 투영하고 필터링을 수행한다.
• 다양한 노드 및 간선 유형을 고려한 메타패스 기반 표현을 QUFGConv를 통해 집계하여, 다양한 유형의 그래프에서의 위상적 의미를 포괄적으로 포착한다.

(a) Sigmoid modulation Functions ( $\alpha=10$ )

실험 결과

연구 질문

• RQ1 학습된 또는 고정된 수학적 필터에 의존하지 않고, 스펙트럼 도메인에서 조절 함수를 직접 설계함으로써 스펙트럼 필터링의 탄력성과 강건성을 향상시킬 수 있는가?
• RQ2 기존 스펙트럼 GNN과 비교해 볼 때, 제안된 QUFG 컨볼루션은 노이즈가 많거나 손상된 특징을 가진 그래프에서 성능이 어떻게 향상되는가?
• RQ3 주의 메커니즘을 사용하지 않고도 QUFG는 다중 유형 그래프에서 이질적인 위상적 구조를 효과적으로 포착할 수 있는가?
• RQ4 QUFG의 다중 척도 필터링 기능은 동종 및 이종 그래프 설정 모두에서 더 나은 표현 학습을 이끌어내는가?
• RQ5 다양한 노이즈 수준과 그래프 변형 상황에서 QUFG는 최신 기술 대비 강건성이 뛰어나게 되는가?

주요 결과

• Gaussian 노이즈(σ=0.05) 조건에서 Pubmed 데이터셋에서 QUFG는 43.61% ± 2.97의 정확도를 기록하여, 동일 조건에서 GCN(44.13%)과 UFG(43.30%)를 모두 앞서며 슈퍼리어한 성능을 보였다.
• 동일한 데이터셋에서 σ=0.2 조건에서도 QUFG는 41.47% ± 2.24의 정확도를 유지하며, UFG(41.35%)와 GCN(41.11%)를 모두 앞서며 강력한 노이즈 제거 능력을 입증했다.
• 이종 그래프 노드 분류에서 QUFG는 ACM에서 92.72% Macro-F1, IMDB에서 55.69% Macro-F1을 기록하여, HAN(89.40% 및 50.00%)과 UFG(91.45% 및 54.96%)를 모두 앞서는 성능을 보였다.
• QUFG는 성능의 변동성을 감소시켜, DBLP와 ACM에서 각각 표준편차 0.64와 0.56를 기록하며 더 높은 학습 안정성을 보였다.
• 모든 데이터셋과 평가 지표에서 선형 프레임릿 전신인 UFG보다 뚜렷한 슈퍼리어리티를 보이며, 적응형 조절의 유용성을 입증했다.
• 주의 메커니즘을 사용하지 않음에도 불구하고 QUFG는 최신 기술 수준의 성능을 달성하였으며, 이는 복잡한 그래프 의미를 포착하기 위해 명시적인 주파수 성분 제어가 주의 메커니즘을 대체할 수 있음을 시사한다.

(b) Entropy modulation Functions ( $\alpha=50$ )