[논문 리뷰] Graph Neural Networks with Haar Transform-Based Convolution and Pooling: A Complete Guide.

Xuebin Zheng, Bingxin Zhou외 3명|arXiv (Cornell University)|2020. 07. 22.

Advanced Graph Neural Networks참고 문헌 73인용 수 6

한 줄 요약

HaarNet는 그래프 컨볼루션 및 풀링 연산에 히어르 웨이블릿 변환을 통합하여 다중 척도이자 부재 중복 그래프 표현을 학습하는 새로운 그래프 신경망(GNN)이다. 빠른 히어르 변환을 활용함으로써, 특히 대규모 데이터셋에서 그래프 분류 및 회귀 과제에서 뛰어난 성능을 달성하며, 정확도와 안정성이 향상된다.

ABSTRACT

Graph Neural Networks (GNNs) have recently caught great attention and achieved significant progress in graph-level applications. In order to handle graphs with different features and sizes, we propose a novel graph neural network, which we call HaarNet, to predict graph labels with interrelated convolution and pooling strategies. Similar to some existing routines, the model assembles unified graph-level representations from samples by first adopting graph convolutional layers to extract mutual information followed by graph pooling layers to downsample graph resolution. By a sequence of clusterings, we embed the intrinsic topological information of each graph into the GNN. Through the fast Haar transformation, we made our contribution to forming a smooth workflow that learns multi-scale graph representation with redundancy removed. As a result, our proposed framework obtains notable accuracy gains without sacrificing performance stability. Extensive experiments validate the superiority on graph classification and regression tasks, where our proposed HaarNet outperforms various existing GNN models, especially on big data sets.

연구 동기 및 목표

• 다양한 크기와 특성의 그래프로부터 효과적이고 다중 척도 그래프 표현을 학습하는 데 도전하는 것.
• 특징 학습 과정에서 고유한 위상적 구조를 유지하면서 그래프 표현의 중복을 줄이는 것.
• 특히 대규모 데이터셋에서 그래프 수준 예측 과제의 성능 안정성과 정확도를 향상시키는 것.
• 히어르 변환 기반의 컨볼루션과 풀링을 통합하여 일관되고 부드러운 GNN 워크플로우를 만드는 것.

제안 방법

• 히어르 변환 기반의 풀링과 그래프 컨볼루션 레이어를 결합한 새로운 GNN 아키텍처인 HaarNet을 제안하여 계층적 특징 추출을 수행한다.
• 빠른 히어르 웨이블릿 변환을 활용해 그래프 해상도를 효율적으로 저해상도로 다운샘플링하면서 필수적인 위상 정보를 유지한다.
• 계층적 클러스터링의 시퀀스를 사용하여 그래프의 고유한 위상 구조를 표현 학습 과정에 통합한다.
• 컨볼루션과 풀링이 상호 연관되어 히어르 변환을 통해 최적화되는 통합 워크플로우를 도입하여 중복 특징을 제거한다.
• 계층적 그래프 분할을 거쳐 히어르 변환을 반복 적용함으로써 다중 척도 표현 학습을 구현한다.
• 다양한 그래프 크기와 특징 분포에서 성능 안정성을 유지하는 부드럽고 종단 간(end-to-end) 훈련 파이프라인을 설계한다.

실험 결과

연구 질문

• RQ1 히어르 변환 기반의 컨볼루션과 풀링은 그래프 수준 과제에서 GNN의 표현 능력을 향상시키는가?
• RQ2 히어르 변환의 통합은 그래프 표현에서 중복 감소와 위상 정보 보존에 어떤 영향을 미치는가?
• RQ3 제안된 HaarNet 프레임워크는 대규모 그래프 데이터셋에서 기존 GNN 모델보다 더 뛰어난 성능과 안정성을 달성하는가?
• RQ4 히어르 변환을 통한 다중 척도 학습은 그래프 분류 및 회귀 과제에서 일반화 능력을 얼마나 향상시키는가?

주요 결과

• HaarNet는 기존 GNN 모델 대비 그래프 분류 및 회귀 과제에서 뚜렷한 정확도 향상을 달성한다.
• 모델은 대규모 데이터셋에서 뛰어난 성능을 보이며, 기준선 GNN 모델보다 뚜렷이 승리한다.
• 히어르 변환의 통합은 중복 감소와 함께 효과적인 다중 척도 표현 학습을 가능하게 한다.
• 제안된 프레임워크는 다양한 그래프 크기와 특징 분포에서 높은 성능 안정성을 유지한다.
• 히어르 기반 컨볼루션과 풀링을 통합한 부드러운 워크플로우가 예측 정확도 향상에 일관되게 기여한다.