[논문 리뷰] How Framelets Enhance Graph Neural Networks

Xuebin Zheng, Bingxin Zhou외 5명|arXiv (Cornell University)|2021. 02. 13.

Advanced Graph Neural Networks참고 문헌 66인용 수 9

한 줄 요약

이 논문은 다중해상도 분석을 위해 프레임릿 변환을 활용하는 프레임릿 기반 그래프 신경망(GNN)을 소개한다. 그래프 신호를 저역통과 및 고역통과 계수로 분해하고, 새로운 스hrinkage 활성화 함수를 적용함으로써 그래프 컨볼루션과 풀링을 향상시킨다. 이 모델은 노드 및 그래프 분류에서 최신 기술 수준(SOTA) 성능을 달성하며, 예측 정확도를 유지하면서 최대 47.7%의 압축 비율로 효과적인 노이즈 제거와 신호 압축을 가능하게 한다.

ABSTRACT

This paper presents a new approach for assembling graph neural networks based on framelet transforms. The latter provides a multi-scale representation for graph-structured data. We decompose an input graph into low-pass and high-pass frequencies coefficients for network training, which then defines a framelet-based graph convolution. The framelet decomposition naturally induces a graph pooling strategy by aggregating the graph feature into low-pass and high-pass spectra, which considers both the feature values and geometry of the graph data and conserves the total information. The graph neural networks with the proposed framelet convolution and pooling achieve state-of-the-art performance in many node and graph prediction tasks. Moreover, we propose shrinkage as a new activation for the framelet convolution, which thresholds high-frequency information at different scales. Compared to ReLU, shrinkage activation improves model performance on denoising and signal compression: noises in both node and structure can be significantly reduced by accurately cutting off the high-pass coefficients from framelet decomposition, and the signal can be compressed to less than half its original size with well-preserved prediction performance.

연구 동기 및 목표

• 다중 척도 그래프 표현을 위해 프레임릿 변환을 도입함으로써 그래프 신경망과 신호 처리를 연결하고자 한다.
• 프레임릿 분해 및 재구성을 사용하여 주파수 도메인에서 작동하는 새로운 그래프 컨볼루션 메커니즘을 개발하고자 한다.
• 고주파 성분을 임계 처리함으로써 노이즈 감소와 신호 압축을 위한 새로운 스hrinkage 활성화 함수를 제안하고자 한다.
• 에너지 보존 원리를 활용해 총 정보를 유지하는 프레임릿 유도 그래프 풀링 전략을 설계하고자 한다.
• 기본 데이터셋에서 노드 및 그래프 분류, 노이즈 제거, 데이터 압축에서 향상된 성능을 입증하고자 한다.

제안 방법

• 메서드는 그래프 라플라시안과 체비셰프 다항식 근사법을 사용하여 그래프 신호를 저역통과 및 고역통과 주파수 성분으로 분해하기 위해 프레임릿 변환을 활용한다.
• 저역통과 및 고역통과 계수를 조합하여 프레임릿 기반 그래프 컨볼루션을 설계함으로써 스펙트럼 도메인에서 다중 척도 특징 학습을 가능하게 한다.
• 다중 척도에서 고역통과 계수를 임계 처리하는 새로운 스hrinkage 활성화 함수를 설계하여 노드 특징과 그래프 구조의 노이즈를 효과적으로 억제한다.
• 에너지 보존 원리를 활용해 프레임릿 스펙트럼에서 특징을 다중 척도로 집계함으로써 차원 감소를 효율적으로 수행하는 프레임릿 풀링 전략을 설계한다.
• 계산 효율성을 높이기 위해 필터 범프와 텐서라이즈드 변환을 통합하여 엔드 투 엔드 학습을 지원한다.
• 표준 GNN 최적화 방법을 사용하여 모델을 학습하고, 노드 및 그래프 분류 벤치마크에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 프레임릿 변환은 다중 척도 신호 분석을 통해 그래프 신경망의 표현 능력을 향상시킬 수 있는가?
• RQ2 제안된 스hrinkage 활성화 함수는 ReLU와 비교해 노드 특징과 그래프 구조의 노이즈 제거에서 어떻게 성능을 발휘하는가?
• RQ3 프레임릿 기반 GNN은 예측 성능을 유지하면서 그래프 데이터를 어느 정도 압축할 수 있는가?
• RQ4 기존의 공간 또는 스펙트럼 풀링 방법과 비교해 프레임릿 유도 풀링이 정보 유지 및 정확도 향상에서 뛰어난가?
• RQ5 프레임릿과 같은 신호 처리 도구의 통합이 그래프 학습 과제에서 최신 기술 수준의 성능을 달성하는 데 기여하는가?

주요 결과

• 제안된 프레임릿 기반 GNN은 다양한 노드 및 그래프 분류 벤치마크에서 기존의 공간 및 스펙트럼 GNN을 능가하는 최신 기술 수준의 성능을 달성한다.
• 스hrinkage 활성화 함수는 노드 특징과 그래프 구조 양쪽에서 노이즈를 감소시켜, 노이즈가 있는 데이터에서 모델의 강건성을 크게 향상시킨다.
• 그래프 신호는 원래 크기의 절반 이하로 압축될 수 있으며(47.7% 압축 비율), 예측 성능 손실가 최소한이다.
• 에너지 보존 원리에 따라 프레임릿 스펙트럼에서 총 정보가 유지되므로 프레임릿 풀링은 효과적인 차원 감소를 가능하게 한다.
• 스케일 수준이 2인 모델의 계산 복잡도는 8개의 어텐션 헤드를 가진 GAT과 유사하며, 대규모 그래프(>4×10⁴ 노드)에서는 GAT를 능가한다.
• Cora 데이터셋에 대한 시각화 결과, 스hrinkage 활성화 함수가 고역통과 계수에서 클래스별 특징을 효과적으로 분리하며, 대부분의 관련 없는 계수는 거의 영으로 감소됨을 확인할 수 있다.