[논문 리뷰] Graph Autoencoders with Deconvolutional Networks

Jia Li, Tomas Yu외 4명|arXiv (Cornell University)|2020. 12. 22.

Advanced Graph Neural Networks참고 문헌 56인용 수 5

한 줄 요약

이 논문은 그래프 컨volution 네트워크(GCNs)에 의해 학습된 노드 표현의 스무딩 효과를 반전시켜 정확한 그래프 신호를 복원하는 데 목적이 있는 대칭 그래프 오토인코더 프레임워크를 제안한다. 스펙트럼 고역통과 필터링과 웨이블릿 기반 노이즈 제거를 조합함으로써 GCN의 스무딩 효과를 효과적으로 역전시켜 비지도 그래프 표현 학습, 노이즈가 있는 사회적 추천, 그래프 생성 분야에서 최고 성능을 달성한다.

ABSTRACT

Recent studies have indicated that Graph Convolutional Networks (GCNs) act as a \emph{low pass} filter in spectral domain and encode smoothed node representations. In this paper, we consider their opposite, namely Graph Deconvolutional Networks (GDNs) that reconstruct graph signals from smoothed node representations. We motivate the design of Graph Deconvolutional Networks via a combination of inverse filters in spectral domain and de-noising layers in wavelet domain, as the inverse operation results in a \emph{high pass} filter and may amplify the noise. Based on the proposed GDN, we further propose a graph autoencoder framework that first encodes smoothed graph representations with GCN and then decodes accurate graph signals with GDN. We demonstrate the effectiveness of the proposed method on several tasks including unsupervised graph-level representation , social recommendation and graph generation

연구 동기 및 목표

• 그래프 구조 데이터에 대한 효과적인 역컨볼루션 연산의 부재를 해결하기 위해, 대칭 오토인코더 프레임워크에 필수적인 요소를 제공한다.
• 스펙트럼 도메인에서 노이즈를 증폭시키는 역행성 문제를 해결하기 위해, 그래프 신호의 역컨볼루션 문제의 불안정성을 극복한다.
• GCN에 의해 인코딩된 스무딩된 표현에서 원래의 그래프 신호를 정확하게 복원할 수 있도록 그래프 오토인코더를 향상시킨다.
• 비지도 그래프 수준 표현 학습, 노이즈가 있는 사용자-아이템 상호작용 하에서의 사회적 추천, 그래프 생성 작업에서의 성능 향상을 달성한다.
• 스펙트럼 및 웨이블릿 도메인 신호 처리에 기반한 원칙적인 설계를 통해 그래프 역컨볼루션 네트워크(GDN)를 GCN의 역함수로 제안한다.

제안 방법

• GCN의 역함수로 작동하는 그래프 역컨볼루션 네트워크(GDN)를 제안하며, GCN의 스무딩 효과를 반전시키기 위해 스펙트럼 도메인의 고역통과 필터를 사용한다.
• 잠재 표현에서 신호를 복원하기 위해 고역통과 필터를 갖춘 스펙트럼 그래프 컨볼루션을 적용하여 스펙트럼 도메인의 역필터링을 모방한다.
• 스펙트럼 복원 이후에 웨이블릿 기반 노이즈 제거 모듈을 도입하여 노이즈 증폭을 완화하며, 하이브리드 스펙트럼-웨이블릿 신호 처리에서 영감을 얻는다.
• 고역통과 필터 및 웨이블릿 커널의 효율적 계산을 위해 마클로린 급수 근사를 활용하여 명시적 고유값 분해를 피한다.
• 대칭 그래프 오토인코더 프레임워크를 설계한다: GCN은 인코딩(스무딩)을 위해, GDN은 복원(디코딩)을 위해 사용되며, CNN 기반 오토인코더를 모방한다.
• 공유된 인코더와 작업별 디코더를 사용하여 세 가지 작업—비지도 그래프 수준 표현, 사회적 추천, 그래프 생성—에 이 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 그래프 역컨볼루션은 그래프 컨볼루션의 역함수로 효과적으로 정의될 수 있으며, 명시적 고유값 분해 없이 어떻게 구현될 수 있는가?
• RQ2 스무딩된 표현에서 그래프 신호를 복원할 때 스펙트럼 역컨볼루션에서의 노이즈 증폭 문제는 어떻게 완화될 수 있는가?
• RQ3 GDN을 활용한 대칭 그래프 오토인코더는 기존 방법에 비해 비지도 그래프 표현 학습에서 얼마나 향상된 성능을 보일 수 있는가?
• RQ4 제안된 GDN 기반 오토인코더는 노이즈가 있는 사용자-아이템 상호작용 환경에서 사회적 추천의 강건성을 향상시키는가?
• RQ5 GDN은 변분 오토인코더 프레임워크(VGAE 및 Graphite 등)에서 생성된 그래프의 품질을 향상시키는가?

주요 결과

• 제안된 GAE 프레임워크는 비지도 그래프 분류에서 최고 성능을 달성하며, 정확도와 학습 속도 면에서 이전 방법들을 능가한다.
• 사회적 추천에서, 이 방법은 최고 수준의 모델(GC-MC)과 유사한 RMSE 성능을 보이며, Ciao와 Douban에서 각각 0.61%, 1.25% 향상된 인라인 유사도(ILS)를 기록하여 우수한 추천 다양성 확보를 확인한다.
• 노이즈가 있는 평가 조건(p > 0) 하에서, Ciao에서는 GC-MC보다 RMSE가 0.04 낮고, Douban에서는 sRGCNN보다 0.014 낮아 강건성을 입증한다.
• 그래프 생성에서, GDN은 VGAE의 AUC 점수를 PTC-MR에서 19.4% 향상시키고, Graphite의 AP 점수를 MUTAG에서 4.9% 향상시켜 아키텍처 간 일관된 성능 향상을 보였다.
• ZINC에서 VGAE의 생성 그래프에 대한 로그우도가 5.4% 향상되어 -1.156에서 -1.114로 개선되어 구조적 정밀도 향상을 확인한다.
• 웨이블릿 노이즈 제거 단계는 필수적이다: 이 단계가 없을 경우 스펙트럼 역컨볼루션에서의 노이즈 증폭이 성능을 악화시키며, 하이브리드 스펙트럼-웨이블릿 설계의 타당성을 입증한다.