[논문 리뷰] MathNet: Haar-Like Wavelet Multiresolution-Analysis for Graph Representation and Learning

Xuebin Zheng, Bingxin Zhou외 3명|arXiv (Cornell University)|2020. 07. 22.

Advanced Graph Neural Networks참고 문헌 82인용 수 8

한 줄 요약

MathNet는 다중 해상도 분석을 위한 하르 유사 웨이블릿을 사용하는 그래프 신경망 프레임워크를 제안한다. 웨이블릿 기반의 컨볼루션과 계층적 풀링을 통합함으로써, 특히 대규모 데이터셋에서 기존 GNN보다 뛰어난 정확도와 안정성을 보이며 그래프 분류 및 회귀 과제에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Graph Neural Networks (GNNs) have recently caught great attention and achieved significant progress in graph-level applications. In this paper, we propose a framework for graph neural networks with multiresolution Haar-like wavelets, or MathNet, with interrelated convolution and pooling strategies. The underlying method takes graphs in different structures as input and assembles consistent graph representations for readout layers, which then accomplishes label prediction. To achieve this, the multiresolution graph representations are first constructed and fed into graph convolutional layers for processing. The hierarchical graph pooling layers are then involved to downsample graph resolution while simultaneously remove redundancy within graph signals. The whole workflow could be formed with a multi-level graph analysis, which not only helps embed the intrinsic topological information of each graph into the GNN, but also supports fast computation of forward and adjoint graph transforms. We show by extensive experiments that the proposed framework obtains notable accuracy gains on graph classification and regression tasks with performance stability. The proposed MathNet outperforms various existing GNN models, especially on big data sets.

연구 동기 및 목표

• 그래프 내 국소적이고 전역적인 위상적 구조를 효과적으로 포착하여 표현 학습을 향상시키는 그래프 신경망 프레임워크를 개발하는 것.
• 그래프 수준의 학습 과제에서 일관되지 않은 그래프 크기와 구조 문제를 해결하기 위해 통합된 다중 해상도 그래프 표현을 가능하게 하는 것.
• 정규직교 하르 유사 웨이블릿 기반으로 상호 연관된 컨볼루션과 풀링 연산을 갖춘 엔드 투 엔드 GNN을 설계하여 효율적인 계산을 가능하게 하는 것.
• 다중 해상도 신호 분해를 통해 그래프 분류 및 회귀 과제에서 특히 대규모 데이터셋에서 뛰어난 성능을 달성하는 것.
• 다중 해상도 분석을 활용해 그래프 신경망에서 빠른 정방향 및 역방향 웨이블릿 변환을 위한 일반화 가능한 프레임워크를 구축하는 것.

제안 방법

• 해당 방법은 입력 그래프의 군집화 체인을 구성하여 다중 해상도 분석(MRA)을 위한 트리 구조의 정규직교 하르 유사 웨이블릿 시스템을 정의한다.
• 그래프 컨볼루션은 정방향 웨이블릿 변환을 통해 수행되며, 스펙트럼 도메인 필터링(Hadamard 곱)을 거친 후 역방향 변환을 통해 정점 도메인으로 복귀한다.
• 계층적 그래프 풀링은 노드 수를 감소시키면서 위상적 및 특징 정보를 유지하는 압축형 웨이블릿 변환을 통해 구현된다.
• 풀링 레이어는 계층적으로 연결되어 있어 그래프 신호의 점진적 해상도 감소와 중복 제거를 가능하게 한다.
• 정방향 및 역방향 웨이블릿 변환의 빠른 계산을 지원하여 GNN에서 효율적인 학습과 추론을 가능하게 한다.
• 모델은 작업 간 일관된 아키텍처를 사용하며, 분류/회귀 작업에 대해 각각 한 개의 GCN 레이어, 한 개의 SAGPool 레이어, 그리고 세 층의 MLP를 활용한다.

실험 결과

연구 질문

• RQ1 웨이블릿 기반의 다중 해상도 분석 프레임워크가 GNN 내 그래프 표현 학습을 향상시킬 수 있는가?
• RQ2 하르 유사 웨이블릿이 그래프 컨볼루션과 풀링과 통합될 경우 그래프 분류 및 회귀 과제에서 성능 향상에 어떤 기여를 하는가?
• RQ3 MathNet은 기존 GNN 모델보다 얼마나 뛰어나며, 특히 대규모 데이터셋에서 어떤 정도의 성능 향상을 달성하는가?
• RQ4 계층적 웨이블릿 풀링 전략은 위상 정보를 어떻게 유지하면서도 효율적인 계산을 가능하게 하는가?
• RQ5 간단한 하르 유사 웨이블릿 기저를 사용할 경우 모델의 표현력과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• MathNet은 QM7 그래프 회귀 벤치마크에서 평균 테스트 MAE 42.7 ± 0.92를 기록하여, 다음으로 우수한 베이스라인(GCNConv+SAGPool)의 43.6 ± 0.98보다 떨어지지 않아 우수한 성능을 보였다.
• 10회 반복 실험에서 성능의 표준편차가 낮아, 베이스라인 대비 더 높은 안정성을 보였다.
• MathNet은 그래프 분류 및 회귀 과제에서 뚜렷한 정확도 향상을 보였으며, 특히 대규모 데이터셋에서 뛰어난 성능을 보였다.
• 프레임워크는 정방향 및 역방향 웨이블릿 변환의 빠른 계산을 가능하게 하여 GNN에서 효율적인 학습과 추론을 지원한다.
• 다중 해상도 분석 프레임워크 내 정규직교 하르 유사 웨이블릿의 사용이 국소적 및 전역적 그래프 구조 정보를 효과적으로 유지하는 데 성공했다.
• 실험 결과는 MathNet이 단순한 웨이블릿 기저(균일한 '아빠 웨이블릿')를 사용하더라도 다양한 그래프 학습 과제에서 효과적이고 안정적임을 확인했다.