[논문 리뷰] Graph Embedding via Diffusion-Wavelets-Based Node Feature Distribution Characterization

Lili Wang, Cheng‐Han Huang외 3명|arXiv (Cornell University)|2021. 09. 14.

Advanced Graph Neural Networks참고 문헌 33인용 수 12

한 줄 요약

이 논문은 전체 그래프 임베딩을 위한 새로운 비지도 학습 방법을 제안하며, 확산 웨이브릿을 활용해 k-호프 부분그래프 내의 위상적 유사성을 캡처하고, 특성 함수를 통해 노드 특성 분포를 특성화한다. 이러한 함수들을 집계하고, 쌍 할당의 최소 차이(MDPA)를 사용해 위상적 유사성을 측정함으로써, 네 개인 실세계 데이터셋에서 기존 12개의 베이스라인(예: FEATHER 포함)을 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recent years have seen a rise in the development of representational learning methods for graph data. Most of these methods, however, focus on node-level representation learning at various scales (e.g., microscopic, mesoscopic, and macroscopic node embedding). In comparison, methods for representation learning on whole graphs are currently relatively sparse. In this paper, we propose a novel unsupervised whole graph embedding method. Our method uses spectral graph wavelets to capture topological similarities on each k-hop sub-graph between nodes and uses them to learn embeddings for the whole graph. We evaluate our method against 12 well-known baselines on 4 real-world datasets and show that our method achieves the best performance across all experiments, outperforming the current state-of-the-art by a considerable margin.

연구 동기 및 목표

• 그래프 분류를 위한 효과적인 비지도 전체 그래프 임베딩 방법의 부족을 해결하기 위해.
• 스펙트럼 그래프 웨이브릿을 사용해 k-호프 부분그래프 내의 노드 특성 분포를 모델링하기 위해.
• 그래프 이somorphism에 대해 불변성과 특성 노이즈에 대해 강건성을 확보하기 위해.
• 기존 최신 기술 수준의 방법들을 능가하는 그래프 분류 작업에서의 성능을 확보하기 위해.

제안 방법

• 그래프 라플라시안을 기반으로 한 확산 웨이브릿을 사용해 노드의 위상적 역할을 반영하는 스펙트럼 웨이브릿 계수를 계산한다.
• 스케일링 파라미터 𝜏를 사용한 열 커널 필터를 적용해 신호를 스무딩하고 구조적 유사성을 강조한다.
• k-호프 부분그래프 내의 노드 특성의 특성 함수를 계산하여 국소적 특성 분포를 표현한다.
• MDPA(지구 이동 거리의 변종)를 사용해 노드 에너지 분포 간의 위상적 유사성을 측정한다.
• 노드 간의 특성 함수를 집계하고 대표적인 점들을 샘플링하여 d차원의 그래프 수준 임베딩을 형성한다.
• 정규화된 인접 행렬과 전이 확률을 사용해 특성 노이즈에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 확산 웨이브릿이 그래프 수준 표현을 위한 k-호프 부분그래프 내의 노드 간 위상적 유사성을 효과적으로 캡처할 수 있는가?
• RQ2 부분그래프 내의 노드 특성의 특성 함수를 집계함으로써 분별력 있는 전체 그래프 임베딩를 도출할 수 있는가?
• RQ3 제안된 방법이 그래프 이somorphism에 대해 불변이며 특성 노이즈에 대해 강건한가?
• RQ4 이 방법이 기존 최신 기술 수준의 접근 방식보다 그래프 분류 작업에서 뛰어난 성능을 보일 수 있는가?

주요 결과

• GitHub Repos 데이터셋에서 제안된 방법은 평균 AUC 점수 0.772 ± 0.002를 기록하여, 다음으로 높은 성능을 보인 베이스라인(FEATHER)의 0.728 ± 0.002를 초월한다.
• Reddit Threads 데이터셋에서는 AUC 0.835 ± 0.001을 달성하여, FEATHER(0.823 ± 0.001) 및 기타 모든 베이스라인을 능가한다.
• 이 방법은 GitHub Repos, Reddit Threads, Twitch Egos, Deezer Egos의 네 개인 실세계 데이터셋 전반에서 강력한 일반화 능력을 보이며 최신 기술 수준의 성능을 달성한다.
• 하이퍼파라미터에 대한 민감도 분석 결과, 𝑘𝑚𝑎𝑥, 𝑑, 𝜏의 다양한 값에서도 안정적인 성능을 보이며, 하이퍼파라미터에 대해 낮은 민감도를 보인다.
• 이론적 분석을 통해 동일한 그래프 이somorphism에 대해 동일한 임베딩을 생성하고, 특성 함수 차이의 유계된 페르터베이션을 통해 특성 노이즈에 강건함을 입증한다.
• 노드 특성이 없는 데이터셋에서는 수동으로 로그 차수와 군집 계수를 특성으로 삽입함으로써, 노드 특성이 없음에도 불구하고 뛰어난 성능을 달성한다.