[논문 리뷰] Deconvolutional Networks on Graph Data

Jia Li, Jiajin Li외 4명|arXiv (Cornell University)|2021. 10. 29.

Advanced Graph Neural Networks참고 문헌 49인용 수 7

한 줄 요약

이 논문은 그래프 컨volution 네트워크(GCNs)에 의해 스무딩된 표현들로부터 원래의 그래프 신호를 재구성하는 방법으로 그래프 디컨볼루션 네트워크(GDN)를 제안한다. 역스펙트럼 필터링과 웨이블릿 기반 노이즈 제거를 결합함으로써, GDN은 직접 디컨볼루션에서 발생하는 노이즈 증폭을 완화하고 그래프 특징 보정 및 구조 생성 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we consider an inverse problem in graph learning domain -- ``given the graph representations smoothed by Graph Convolutional Network (GCN), how can we reconstruct the input graph signal?" We propose Graph Deconvolutional Network (GDN) and motivate the design of GDN via a combination of inverse filters in spectral domain and de-noising layers in wavelet domain, as the inverse operation results in a high frequency amplifier and may amplify the noise. We demonstrate the effectiveness of the proposed method on several tasks including graph feature imputation and graph structure generation.

연구 동기 및 목표

• GCN에 의해 스무딩된 표현들로부터 원래의 그래프 신호를 복원하는 역문제를 해결하기 위해.
• GCN 처리된 신호의 직접 디컨볼루션에서 발생하는 본질적 노이즈 증폭을 극복하기 위해.
• GDN을 학습 가능한 디코더로 사용하여 대칭형 인코더-디코더 프레임워크를 설계하기 위해.
• 그래프 특징 보정 및 그래프 구조 생성 작업에서 성능 향상을 위해.
• 스펙트럼 역연산과 노이즈 전파 분석을 통해 그래프 디컨볼루션에 대한 체계적인 설계를 제공하기 위해.

제안 방법

• GCN 스무딩을 역행시키기 위해 스펙트럼 도메인에서 역필터를 적용하는 스펙트럼-웨이블릿 GDN을 제안한다.
• 명시적 고유분해 없이 역필터와 웨이블릿 커널을 효율적으로 계산하기 위해 매클로린 급수 근사를 사용한다.
• 역필터에 의해 증폭되는 고주파 노이즈를 억제하기 위해 웨이블릿 기반 노이즈 제거를 도입한다.
• GCN 인코더와 GDN 디코더를 갖춘 대칭형 그래프 오토에인코드르(GAE) 프레임워크를 사용하여 엔드 투 엔드 학습을 수행한다.
• 변분 그래프 오토에인코드르(VGAE, Graphite 등)에 GDN 모듈을 플러그인 디코더로 통합하여 생성 품질을 향상시킨다.
• GCN의 스펙트럼 응답을 저역통과 필터(g_c(λ) = 1 - λ)로 간주하여 역필터 g_d(λ) = 1 / (1 - λ)의 설계에 기여한다.

실험 결과

연구 질문

• RQ1 GCN 스무딩된 표현들로부터 원래의 그래프 신호를 효과적으로 재구성할 수 있는가?
• RQ2 그래프 디컨볼루션에서 역필터링 연산으로 인해 발생하는 노이즈 증폭을 어떻게 완화할 수 있는가?
• RQ3 스펙트럼-웨이블릿 하이브리드 설계는 직접 역필터링보다 신호 복구 성능을 향상시킬 수 있는가?
• RQ4 GDN을 그래프 오토에인코드르에 통합하면 특징 보정 및 구조 생성 성능이 향상되는가?
• RQ5 GDN은 기존의 생성 모델들(VGAE, Graphite 등)에 얼마나 큰 향상 효과를 제공하는가?

주요 결과

• 제안된 GDN 디코더를 갖춘 GAE는 그래프 특징 보정 작업에서 6개의 벤치마크 데이터셋에서 최신 기술 수준의 방법들을 초월한다.
• MUTAG 데이터셋에서 GDN은 Graphite의 AP 점수를 16.1% 향상시켰다.
• PTC-MR 데이터셋에서 GDN은 Graphite의 AUC 점수를 20.9% 향상시켰다.
• VGAE 프레임워크에서 GDN은 ZINC 데이터셋에서 로그우도 점수(log p(A|Z))를 0.029 증가시켰다.
• 스펙트럼-웨이블릿 GDN 설계는 노이즈 증폭을 효과적으로 억제하여 단순한 역필터링보다 뛰어난 성능을 보였다.
• 이 방법은 다양한 그래프 학습 작업에서 뛰어난 일반화 능력을 보이며, 최소한의 아키텍처 수정으로도 성능 향상을 이룬다.