[논문 리뷰] Sampling and Recovery of Graph Signals based on Graph Neural Networks

Siheng Chen, Maosen Li외 1명|arXiv (Cornell University)|2020. 11. 03.

Advanced Graph Neural Networks참고 문헌 70인용 수 4

한 줄 요약

이 논문은 상호정보량 추정과 복구 알고리즘의 언롤링을 통해 정보적인 정점 선택을 학습하여 그래프 신호 샘플링 및 복구를 위한 해석 가능한 그래프 신경망을 제안한다. 이 방법은 준감독 학습 및 그래프 분류에서 최신 기술 수준(SOTA) 성능을 달성하며, Cora에서 정확도를 10퍼센트 이상 향상시키고 그래프 분류 벤치마크 평균적으로 1.3퍼센트 향상시킨다.

ABSTRACT

We propose interpretable graph neural networks for sampling and recovery of graph signals, respectively. To take informative measurements, we propose a new graph neural sampling module, which aims to select those vertices that maximally express their corresponding neighborhoods. Such expressiveness can be quantified by the mutual information between vertices' features and neighborhoods' features, which are estimated via a graph neural network. To reconstruct an original graph signal from the sampled measurements, we propose a graph neural recovery module based on the algorithm-unrolling technique. Compared to previous analytical sampling and recovery, the proposed methods are able to flexibly learn a variety of graph signal models from data by leveraging the learning ability of neural networks; compared to previous neural-network-based sampling and recovery, the proposed methods are designed through exploiting specific graph properties and provide interpretability. We further design a new multiscale graph neural network, which is a trainable multiscale graph filter bank and can handle various graph-related learning tasks. The multiscale network leverages the proposed graph neural sampling and recovery modules to achieve multiscale representations of a graph. In the experiments, we illustrate the effects of the proposed graph neural sampling and recovery modules and find that the modules can flexibly adapt to various graph structures and graph signals. In the task of active-sampling-based semi-supervised learning, the graph neural sampling module improves the classification accuracy over 10% in Cora dataset. We further validate the proposed multiscale graph neural network on several standard datasets for both vertex and graph classification. The results show that our method consistently improves the classification accuracies.

연구 동기 및 목표

• 분석 기반의 그래프 신호 샘플링 및 복구 방법이 일반적으로 부정확한 사전 정의된 그래프 신호 모델에 의존하는 한계를 해결하기 위해.
• 신경망을 사용하여 데이터에서 직접 그래프 신호 모델을 학습하는 데이터 기반의 유연한 접근법을 개발하기 위해.
• 이웃 구조 및 신호 표현력과 같은 그래프 특성에 기반하여 설명 가능성을 확보하기 위해.
• 다중 척도 그래프 신경망을 설계하여 다중 그래프 척도에서의 학습을 향상시키기 위해.
• 활성 샘플링을 통한 준감독 학습 및 표준 그래프 분류 작업에서 제안된 프레임워크를 검증하기 위해.

제안 방법

• 정점 특징과 그 이웃 특징 간의 상호정보량을 신경망을 통해 추정하여 정점 선택 기반의 그래프 신경망 샘플링 모듈을 도입한다.
• 알고리즘 언롤링을 활용한 그래프 신경망 복구 모듈을 개발하며, 분석적 복구 알고리즘의 각 반복 단계를 학습 가능한 네트워크 레이어로 변환한다.
• 학습 가능한 다중 척도 그래프 필터와 새로운 특징 교차 레이어를 갖춘 새로운 다중 척도 그래프 신경망 아키텍처인 그래프 크로스 네트워크(GXN)를 제안한다.
• 그래프 인식 설계를 통해 설명 가능성을 유지하면서 다중 척도 표현 학습을 가능하게 하는 학습 가능한 그래프 필터 베드 구조를 활용한다.
• 샘플링 모듈이 지역 이웃을 가장 잘 대표하는 정점을 선택하도록 유도하기 위해, 서로 다른iable_PROXY로 상호정보량 추정을 활용한다.
• 정점 수준 및 그래프 수준의 분류 작업 모두에 동일한 프레임워크 내에서 제안된 모듈을 통합하여 일관된 성능 향상을 달성한다.

실험 결과

연구 질문

• RQ1 서로 정보량 추정 기반의 데이터 기반 샘플링 전략이 기존 분석적 샘플링 방법보다 그래프 신호 복구 성능에서 뛰어나게 되는가?
• RQ2 복구 알고리즘을 학습 가능한 레이어로 언롤링하는 것이 정확도를 향상시키면서도 설명 가능성을 유지할 수 있는가?
• RQ3 특징 교차 레이어를 통한 다중 척도 그래프 표현의 통합이 그래프 분류 작업 성능에 어떤 영향을 미치는가?
• RQ4 제안된 신경 샘플링 모듈이 활성 샘플링 기반 준감독 학습에 얼마나 기여하는가?
• RQ5 제안된 프레임워크는 신호 희박성 또는 밴드제한성에 대한 사전 가정 없이 다양한 그래프 구조와 신호 모델에 일반화되는가?

주요 결과

• 제안된 그래프 신경망 샘플링 모듈은 Cora 데이터셋에서 활성 샘플링 기반 준감독 학습에서 정확도를 10퍼센트 이상 향상시킨다.
• 그래프 크로스 네트워크(GXN)는 여러 데이터셋에서 정점 분류 작업에서 기준 GNN보다 평균 1.15퍼센트의 정확도 향상을 달성한다.
• 특징 교차 레이어는 정점 분류 작업 전반에서 평균 1.10퍼센트의 정확도 향상을 기여하며, 다중 척도 특징 상호작용의 이점을 입증한다.
• GXN은 6개의 그래프 분류 벤치마크 중 5개에서 최신 기술 수준 방법을 능가하며 평균 1.30퍼센트의 정확도 향상을 달성한다.
• GXN에 통합되었을 때, 다른 신경 풀링 방법(gPool, SAGPool, AttPool)보다 제안된 그래프 신경망 샘플링 모듈이 일관되게 뛰어난 성능을 보인다.
• 특징 교차 레이어를 갖춘 다중 척도 아키텍처는 정점 분류 및 그래프 분류 작업 전반에서 일관된 성능 향상을 보이며, 강건성과 일반화 능력을 나타낸다.